В системах уголовного правосудия, кредитных рынках, сферах занятости, процессах приема в высшие учебные заведения и даже сети социальных сетейуправляемые данными алгоритмы теперь принимать решения способами, которые затрагивают нашу экономическую, социальную и гражданскую жизнь. Эти программные системы ранжируют, классифицируют, связывают или фильтруют информацию, используя созданные человеком или основанные на данных правила, которые обеспечивают согласованное лечение для больших групп населения.

Но хотя эти методы могут повысить эффективность, они также могут предубеждения против уязвимых групп or усилить структурную дискриминацию, Например, с точки зрения уголовного правосудия, справедливо ли выносить суждения об условно-досрочном освобождении отдельных лиц на основе статистических тенденций, измеряемых широкой группой людей? Может ли дискриминация возникнуть в результате применения статистической модели разработаны для населения одного государства в другое, демографически разное население?

Общественность должна понимать предвзятость и силу алгоритмов, используемых в публичной сфере, в том числе государственными органами. Усилие, с которым я связан, называется алгоритмическая ответственностьстремится сделать влияние таких систем более понятным и понятным.

Существующие методы прозрачности при применении к алгоритмам могут позволить людям отслеживать, проверять и критиковать функционирование этих систем - или нет, в зависимости от обстоятельств. К сожалению, правительственные учреждения кажутся неподготовленными к запросам об алгоритмах и их использовании в решениях, которые существенно затрагивают как отдельных лиц, так и общественность в целом.

Открытие алгоритмов для общественного контроля

В прошлом году федеральное правительство начало изучать плюсы и минусы использования компьютеризированного анализа данных для определения вероятности повторного совершения преступления заключенными после освобождения. Оценка лиц с низким, средним или высоким уровнем риска может помочь в принятии решений о жилье и лечении, выявлении людей, которых можно безопасно отправить в тюрьму строгого режима или даже «на полпути», или кому будет полезен конкретный тип психологическая помощь.

Эта информация может сделать процесс отправления правосудия более эффективным и менее дорогостоящим, а также даже уменьшить переполненность тюрем. Обращение с правонарушителями с низким уровнем риска, как с правонарушителями с высоким уровнем риска, было показано в некоторых исследованиях привести к тому, что они усваивают статус «больного» преступника и нуждаются в лечении за их девиантное поведение. Таким образом, их разделение может уменьшить развитие негативного поведения, которое может привести к рецидиву после освобождения.

Данные и алгоритмы для оценки риска повторного совершения преступления заключенными уже широко используется государствами за управление предварительным заключением, условно-досрочным освобождением, условно-досрочным освобождением и даже вынесением приговора. Но им легко остаться незамеченными - они часто выглядят как скромные бюрократические документы.

Обычно алгоритмы сводятся к упрощенным оценочным листам, которые заполняются государственными служащими с небольшим пониманием основополагающих расчетов. Например, работник по делу может оценить заключенного, используя форму, в которой работник по делу отмечает, что заключенный был признан виновным в насильственном преступлении, был молодым на момент первого ареста и не окончил среднюю школу или не получил ВГО. Эти факторы и другие характеристики, касающиеся личности и преступления, дают оценку, которая позволяет предположить, может ли заключенный иметь право на пересмотр условно-досрочного освобождения.

Сама форма, а также ее система оценки часто раскрывают ключевые особенности алгоритма, такие как рассматриваемые переменные и то, как они собираются вместе, чтобы сформировать общую оценку риска. Но что также важно для алгоритмической прозрачности, так это знать, как такие формы были спроектированы, разработаны и оценены. Только тогда общественность сможет узнать, являются ли факторы и расчеты, связанные с получением оценки, справедливыми и разумными, или неосведомленными и предвзятыми.

Использование Закона о свободе информации

Нашим основным инструментом для получения этих форм и вспомогательных материалов является закон и, в частности, законы о свободе информации. Они являются одними из самых мощных механизмов, доступных общественности для обеспечения прозрачности в правительстве. На федеральном уровне Закон о свободе информации (FOIA) позволяет общественности официально запрашивать - и ожидать получить взамен - документы от федерального правительства. Существуют аналогичные законы для каждого государства.

Принятый в 1966, FOIA был создан до широкого использования вычислительной техники и задолго до того, как большие объемы данных регулярно использовались в программных системах для управления людьми и прогнозирования. Там было некоторые начальные исследования в состоянии ли FOIA способствовать раскрытию исходного кода программного обеспечения. Но остается вопрос о том, отвечают ли действующие законы потребностям общественности 21-го века: можем ли мы использовать алгоритмы FOIA?

Тематическое исследование в прозрачности алгоритма

Я решил ответить на этот вопрос на Филипп Меррилл колледж журналистики в университете штата Мэриленд, где я доцент. Осенью 2015, работая с классом права СМИ моего коллеги Сэнди Баниски, мы помогали студентам отправлять запросы FOIA в каждый из штатов 50. Мы запросили документы, математические описания, данные, оценки валидации, контракты и исходный код, связанные с алгоритмами, используемыми в уголовном правосудии, такими как решения об условно-досрочном освобождении, условно-досрочном освобождении или вынесении приговора.

Как проект продолжительностью в семестр, усилия были обязательно ограничены во времени, с большим количеством препятствий и относительно небольшим успехом. Как и в случае со многими журналистскими расследованиями, даже выяснить, кого спрашивать - и как - было проблемой. Различные органы могут нести ответственность за различные области системы уголовного правосудия (вынесение приговора может быть вынесено судами, а управление условно-досрочным освобождением - Департаментом исправительных учреждений).

Даже после определения правильного человека студенты обнаружили, что правительственные чиновники использовали различную терминологию, которая затрудняла передачу той информации, которую они хотели. Временами студентам приходилось усердно работать, чтобы объяснить «алгоритмы уголовного правосудия» не слишком подкованному государственному служащему. Оглядываясь назад, возможно, было бы более эффективно запрашивать «инструменты оценки риска», поскольку этот термин часто используется правительствами штатов.

Обработка ответов

Некоторые штаты, такие как Колорадо, категорически отклонили наш запрос, заявив, что алгоритмы содержались в программном обеспечении, которое не считалось «документом», открытым государственными законами, который требовал, чтобы чиновники обнародовали. В разных штатах действуют разные правила раскрытия информации об использовании программного обеспечения. Это иногда всплывало в судах, таких как 2004 иск против города Детройта вопрос о том, следует ли обнародовать формулу расчета платы за воду, взимаемой с соседнего города.

В наших собственных усилиях мы получили только одно математическое описание алгоритма уголовного правосудия: Орегон раскрыл переменные 16 и их веса в модели, используемой там, чтобы предсказать рецидивизм. Штат Северная Дакота выпустил электронную таблицу Excel, в которой показано уравнение, используемое для определения дат, когда заключенные могут быть допущены к условно-досрочному освобождению. Из Айдахо и Нью-Мексико мы получили документы с некоторыми описаниями оценок риска рецидивизма, которые использовали эти штаты, но без подробных сведений о том, как они были разработаны или утверждены.

Девять штатов обосновали свой отказ раскрыть подробности своих алгоритмов уголовного правосудия тем, что информация действительно принадлежала компании. Это означает, что выпуск алгоритма нанесет ущерб фирме, которая его разработала. Общая анкета о рецидивизме, называется LSI-Rоказывается коммерческим продуктом, защищенным авторским правом. Такие штаты, как Гавайи и Мэн, утверждали, что помешали его раскрытию общественности.

Луизиана заявила, что ее контракт с разработчиком новой методики оценки рисков запрещал выпуск запрашиваемой информации в течение шести месяцев. Штат Кентукки процитировал свой контракт с благотворительный фонд В качестве причины он не может раскрыть более подробную информацию. Опасения относительно конфиденциальной информации могут быть законными, но, учитывая, что правительство регулярно заключает контракты с частными компаниями, как мы можем сбалансировать эти опасения с объяснимой и действительно законной системой правосудия?

Усовершенствования

Необходимая реформа FOIA в настоящее время обсуждается Конгрессом. Это дает возможность модернизировать закон, но предлагаемые изменения по-прежнему мало что могут сделать для растущего использования алгоритмов в правительстве. Алгоритмическая прозрачность информации может быть кодифицирован в отчеты, которые правительство генерирует и публикует на регулярной основе, как часть бизнеса, как обычно.

Как общество, мы должны требовать, чтобы сотрудники по общественной информации были обучены, чтобы они были грамотными и действительно свободно владели терминологией, с которой они могут столкнуться, когда публика просит алгоритмы. Федеральное правительство могло бы даже создать новую должность для «царя алгоритмов», омбудсмена, задачей которого было бы общаться и проводить расследования в области автоматизации правительства.

Ни один из документов, которые мы получили в нашем исследовании, не рассказывал нам, как были разработаны или оценены формы оценки рисков в области уголовного правосудия. Поскольку алгоритмы определяют все больше и больше наших жизней, граждане нуждаются - и должны требовать - большей прозрачности.

Об авторе

Николас Диакопулос, сотрудник компании Tow, Центр цифровой журналистики при Колумбийском университете; Доцент кафедры журналистики, Университет Мэриленда. Его исследования в области вычислительной и информационной журналистики с акцентом на алгоритмической ответственности, визуализации нарративных данных и социальных вычислений в новостях.

Эта статья изначально была опубликована в Беседа, Прочтите оригинал статьи.

Книги по этой теме

at Внутренний рынок самовыражения и Amazon