Чат-боты с искусственным интеллектом уже широко используются предприятиями для приветствия клиентов и ответа на их вопросы – как по телефону, так и на веб-сайтах. Некоторые компании обнаружили, что они могут в некоторой степени заменить людей машинами в колл-центрах.
Однако имеющиеся данные свидетельствуют о том, что существуют отрасли, такие как здравоохранение и человеческие ресурсы, где необходимо проявлять крайнюю осторожность в отношении использования этих передовых инструментов и может потребоваться этический надзор.
Недавний и получивший широкую огласку пример – это чат-бот по имени Тесса, который использовался Национальная ассоциация по расстройствам пищевого поведения (NEDA) в США. Изначально в организации существовала линия помощи, в которой работали как штатные сотрудники, так и волонтеры. Это имело четкую цель - помочь уязвимым людям, страдающим расстройствами пищевого поведения.
Однако в этом году организация распустил персонал службы поддержки, объявив, что заменит их чат-ботом Тессы. Причины этого спорны. Бывшие работники утверждают, что смена произошла после решения сотрудников линии помощи объединиться в профсоюз. процитирован вице-президент NEDA увеличение количества звонков и времени ожидания, а также юридических обязательств, связанных с использованием волонтерского персонала.
Как бы то ни было, после очень короткого периода работы Тесса была отключена от сети из-за сообщений о том, что чат-бот дал проблемные советы, которые могли усугубить симптомы людей, обращающихся за помощью при расстройствах пищевого поведения.
Также сообщалось, что Доктор Эллен Фитцсиммонс-Крафт и доктор К. Барр Тейлор, два высококвалифицированных исследователя, которые участвовали в создании Tessa, оговорили, что чат-бот никогда не предназначался для замены существующей линии помощи или для оказания немедленной помощи тем, кто испытывает сильные симптомы расстройства пищевого поведения.
Значительное обновление
Так для чего же была создана Тесса? Исследователи вместе с коллегами создали наблюдательное исследование подчеркивая проблемы, с которыми они столкнулись при разработке основанного на правилах чат-бота для взаимодействия с пользователями, обеспокоенными расстройствами пищевого поведения. Это довольно увлекательное чтение, иллюстрирующее выбор конструкции, операции, подводные камни и поправки.
Первоначальная версия Тессы была традиционной, чат-бот, основанный на правилах, хотя и очень усовершенствованный, который следует заранее определенной структуре, основанной на логике. Он не мог отклоняться от стандартизированных, заранее запрограммированных реакций, откалиброванных его создателями.
Их вывод включал следующий пункт: «Чат-боты, основанные на правилах, имеют потенциал для охвата больших групп населения при низких затратах на предоставление информации и простое взаимодействие, но ограничены в понимании и адекватном реагировании на непредвиденные ответы пользователей».
Может показаться, что это ограничивает возможности использования Тессы. Так как же в конечном итоге она заменила линию помощи, ранее использовавшуюся NEDA? Точная цепочка событий обсуждается в разных аккаунтах, но, по данным NPR, хостинговая компания чат-бота изменила Тессу с чат-бота, основанного на правилах, с заранее запрограммированными ответами на бота с «расширенная функция вопросов и ответов».
В более поздней версии Tessa использовался генеративный искусственный интеллект, во многом похожий на ChatGPT и подобные продукты. Эти продвинутые чат-боты с искусственным интеллектом предназначены для имитации моделей человеческого общения с целью предоставления более реалистичных и полезных ответов. Генерация этих индивидуальных ответов опирается на большие базы данных информации, которую модели ИИ обучены «понимать» с помощью различных технологических процессов: обучение с помощью машины, глубокое обучение и обработки естественного языка.
Уроки обучения
В конечном итоге чат-бот генерировал ответы на вопросы некоторых пользователей, которые были описаны как потенциально опасные. Последовавшие за этим дискуссии переложили вину с одного учреждения на другое. Однако остается суть в том, что последующих обстоятельств потенциально можно было бы избежать, если бы существовал орган, обеспечивающий этический надзор, «человек в курсе» и приверженность четкой цели первоначального замысла Тессы.
Важно извлечь уроки из подобных случаев на фоне стремления к интеграции ИИ в различные системы. И хотя эти события произошли в США, они содержат уроки для тех, кто хочет сделать то же самое в других странах.
Великобритания, судя по всему, придерживается несколько фрагментарного подхода к этому вопросу. Консультативный совет Центра этики данных и инноваций (CDEI) был недавно распущен и его место за столом заняла недавно сформированная рабочая группа Frontier AI. Есть также сообщения о том, что системы искусственного интеллекта уже проходят испытания в Лондоне в качестве инструментов для сотрудников гуманитарных организаций, но не в качестве замены линии помощи.
Оба эти примера подчеркивают потенциальное противоречие между этическими соображениями и деловыми интересами. Мы должны надеяться, что эти два подхода в конечном итоге придут в соответствие, сбалансировав благополучие людей с эффективностью и преимуществами, которые может обеспечить ИИ.
Однако в некоторых областях, где организации взаимодействуют с общественностью, реакции, генерируемой ИИ, и симулированной эмпатии может никогда не оказаться достаточно, чтобы заменить подлинную человечность и сострадание – особенно в областях медицины и психического здоровья.
Марк Цагас, преподаватель кафедры уголовного права, Университет Восточного Лондона
Эта статья переиздана из Беседа под лицензией Creative Commons. Прочтите оригинал статьи.
