люди - и страны - в состоянии войны
Наполеон мог извлечь уроки из прошлого. картина Адольфа Нортена/википедия

Это клише, что незнание истории заставляет повторять ее. Как уже отмечали многие люди, единственное, чему мы учимся из истории, это то, что мы редко чему-то учимся из истории. Люди занимаются сухопутные войны в Азии вновь и вновь. Они также повторяют одни и те же ошибки при знакомстве снова и снова. Но почему это происходит? И положат ли этому конец технологии?

Одна проблема — забывчивость и «близорукость”: мы не видим, насколько прошлые события соотносятся с текущими, упуская из виду разворачивающуюся закономерность. Наполеону следовало бы заметить сходство между его походом на Москву и походом шведского короля Неудачная попытка Карла XII сделать то же самое примерно за столетие до него.

Мы тоже плохо учится когда дела идут плохо. Вместо того чтобы определить, почему решение было неправильным и как избежать повторения подобного, мы часто пытаемся игнорировать неприятный поворот событий. Это значит, что в следующий раз, когда возникнет подобная ситуация, мы не увидим сходства — и повторим ошибку.

Оба выявляют проблемы с информацией. В первом случае мы не можем вспомнить личную или историческую информацию. Во-вторых, мы не можем кодировать информацию, когда она доступна.


графика подписки внутри себя


Тем не менее, мы также совершаем ошибки, когда не можем эффективно сделать вывод о том, что должно произойти. Возможно, ситуация слишком сложна или требует слишком много времени, чтобы обдумывать ее. Или мы склонны неверно интерпретировать происходящее.

Раздражающая сила технологий

Но разве технологии могут нам помочь? Теперь мы можем хранить информацию вне нашего мозга и использовать компьютеры для ее извлечения. Это должно облегчить обучение и запоминание, верно?

Хранение информации полезно, когда ее можно легко извлечь. Но запоминание — это не то же самое, что извлечение файла из известного места или даты. Запоминание включает в себя обнаружение сходства и приведение вещей в голову.

Искусственный интеллект (ИИ) также должен иметь возможность спонтанно вызывать сходства в нашем уме — часто нежелательные сходства. Но если он хорошо замечает возможные сходства (в конце концов, он может обыскать весь Интернет и все наши личные данные), он также часто замечает ложные совпадения.

Для неудачных свиданий он может отметить, что все они были связаны с ужином. Но проблема никогда не в столовой. И то, что на столе были тюльпаны, было чистой случайностью — не было причин избегать их. Мы часто повторяем ошибки в отношениях. 

Это означает, что он будет предупреждать нас о вещах, которые нас не волнуют, возможно, раздражающим образом. Уменьшение его чувствительности означает увеличение риска неполучения предупреждения, когда оно необходимо.

Это фундаментальная проблема, и она одинаково актуальна для любого советника: осторожный советник будет слишком часто кричать волки, оптимистичный советник будет упускать риски.

Хороший советник — это тот, кому мы доверяем. У них примерно такой же уровень осторожности, как и у нас, и мы знаем, что они знают, чего мы хотим. Это сложно найти в советнике-человеке, а тем более в ИИ.

Где технологии останавливают ошибки? Защита от идиотов работает. Машины для резки требуют, чтобы вы удерживали кнопки, держа руки подальше от лезвий. «Безопасный выключатель» останавливает машину, если оператор становится недееспособным.

Микроволновые печи выключают излучение при открытии дверцы. Чтобы запустить ракеты, два человека должны одновременно повернуть ключи в комнате. Здесь тщательный дизайн делает ошибки трудными. Но мы не слишком заботимся о менее важных ситуациях, делая дизайн там гораздо менее защищенным от идиотов.

Когда технология работает хорошо, мы часто слишком ей доверяем. Сегодня у пилотов авиакомпаний меньше реальных часов налета, чем в прошлом, из-за удивительной эффективности систем автопилота. Плохая новость, когда автопилот дает сбой, а у пилота меньше опыта, чтобы пойти дальше, чтобы исправить ситуацию.

Первый из новая порода нефтяной платформы (Sleipnir A) затонула потому что инженеры доверились программному расчету действующих на него сил. Модель была ошибочной, но она представила результаты таким убедительным образом, что они выглядели надежными.

Большая часть нашей техники удивительно надежна. Например, мы не замечаем, как за кулисами постоянно обнаруживаются потерянные пакеты данных в Интернете, как коды исправления ошибок удаляют шум или как предохранители и избыточность делают технику безопасной.

Но когда мы нагромождаем уровень за уровнем сложности, это выглядит очень ненадежно. Мы замечаем, когда видео в Zoom тормозит, программа ИИ дает неправильный ответ или происходит сбой компьютера. Однако спросите любого, кто пользовался компьютером или автомобилем 50 лет назад, как они на самом деле работали, и вы заметите, что они были менее эффективны и менее надежны.

Мы усложняем технологии до тех пор, пока они не станут слишком раздражающими или небезопасными для использования. По мере того, как детали становятся лучше и надежнее, мы часто предпочитаем добавлять новые захватывающие и полезные функции, а не останавливаться на том, что работает. В конечном итоге это делает технологию менее надежной, чем она могла бы быть.

Ошибки будут сделаны

Вот почему ИИ — это обоюдоострый меч для избежания ошибок. Автоматизация часто делает вещи более безопасными и эффективными, когда она работает, но когда она дает сбой, проблема становится намного больше. Автономность означает, что интеллектуальное программное обеспечение может дополнять наше мышление и разгружать нас, но когда оно думает не так, как мы того хотим, оно может вести себя неправильно.

Чем он сложнее, тем более фантастическими могут быть ошибки. Любой, кто имел дело с высокоинтеллектуальными учеными, знает, как хорошо они могут с великой изобретательностью все испортить, когда их здравый смысл подводит их — а у ИИ очень мало человеческого здравого смысла.

Это также веская причина для беспокойства по поводу того, что ИИ будет руководить процессом принятия решений: они делают новые виды ошибок. Мы, люди, знаем человеческие ошибки, а это значит, что мы можем их остерегаться. Но умные машины могут совершать ошибки, о которых мы даже не догадывались.

Более того, системы искусственного интеллекта программируются и обучаются людьми. И примеров таких систем масса становится предвзятым и даже фанатичным. Они подражают предубеждениям и повторяют ошибки человеческого мира, даже когда вовлеченные люди явно пытаются их избежать.

В конце концов, ошибки будут продолжаться. Есть фундаментальные причины, по которым мы ошибаемся в отношении мира, почему мы не помним всего, что должны, и почему наши технологии не могут идеально помочь нам избежать неприятностей.

Но мы можем работать над уменьшением последствий ошибок. Кнопка отмены и автосохранение сохранили бесчисленное количество документов на наших компьютерах. Памятник в Лондоне, камни цунами в Японии и другие памятники напоминают нам об определенных рисках. Надлежащие методы проектирования делают нашу жизнь безопаснее.

В конце концов, из истории можно чему-то научиться. Наша цель должна состоять в том, чтобы выжить и учиться на своих ошибках, а не предотвращать их. Технологии могут помочь нам в этом, но нам нужно тщательно подумать о том, чего мы на самом деле хотим от них, и соответствующим образом спроектировать.

Об авторе

Андерс Сандберг, Научный сотрудник Джеймса Мартина, Институт будущего человечества и Оксфордская школа Мартина, Оксфордский университет

Эта статья переиздана из Беседа под лицензией Creative Commons. Прочтите оригинал статьи.