Алгоритмы распознавания лиц обычно тестируются с использованием белых лиц, что приводит к тому, что технология не может различать расовых людей. (Шаттерстки)

Полиция Детройта незаконно арестовала Роберта Джулиана-Борчака Уильямса в январе 2020 года за кражу в магазине, произошедшую двумя годами ранее. Несмотря на то, что Уильямс не имел ничего общего с инцидентом, технология распознавания лиц, используемая полицией штата Мичиган, «сопоставила» его лицо с зернистым изображением, полученным из видеозаписи наблюдения в магазине, на которой другой афроамериканец берет часы на сумму 3,800 XNUMX долларов США.

Спустя две недели дело было закрыто по ходатайству обвинения. Однако, полагаясь на ошибочный матч, полиция уже надели наручники и арестовала Уильямса на глазах у его семьи, заставила его сделать снимок кружки, отпечатки пальцев и образец его ДНК, допросила его и заключила в тюрьму на ночь.

Эксперты предполагают, что Уильямс не одинок и что другие подвергались подобной несправедливости. Продолжающиеся споры об использовании Clearview AI полицией, безусловно, подчеркивают риски конфиденциальности, связанные с технологией распознавания лиц. Но важно понимать, что не все из нас одинаково несут эти риски.

Тренировка расистских алгоритмов

Технология распознавания лиц, которая обучены и настроены на кавказские лица систематически неверно идентифицирует и неправильно маркирует расовых людей: многочисленные исследования сообщают, что технология распознавания лиц «ошибочные и предвзятые, со значительно более высоким процентом ошибок при использовании против цветных людей".

Эта подрывает индивидуальность и человечность расовых людей которые с большей вероятностью будут ошибочно идентифицированы как преступники. Технология - и ошибки идентификации, которые она делает - отражает и еще больше укрепляет давние социальные разделения, которые глубоко связаны с расизмом, сексизмом, гомофобией, колониализмом поселенцев и другими пересекающимися угнетениями.

{vembed Y = vSuDE6wvQlU}
Расследование France24 о расовой предвзятости в технологии распознавания лиц.

Как технология классифицирует пользователей

В своей книге 1993 года, которая изменила правила игры, Паноптическая сортировка, ученый Оскар Ганди предупредил, что «сложная технология [которая] включает сбор, обработку и обмен информацией об отдельных лицах и группах, которая создается в их повседневной жизни ... используется для координации и контроля их доступа к товарам и услугам, которые определяют жизнь в современная капиталистическая экономика ». Правоохранительные органы используют его, чтобы отобрать подозреваемых среди широкой публики, а частные организации используют его, чтобы определить, есть ли у нас доступ к таким вещам, как банковских и занятость.

Ганди пророчески предупредил, что, если ее не остановить, эта форма «кибернетической сортировки» экспоненциально поставит в невыгодное положение членов сообществ, стремящихся к равенству - например, групп, которые являются расовыми или социально-экономически невыгодными - как с точки зрения того, что им будет выделено, так и как они могли бы прийти к пониманию самих себя.

Примерно 25 лет спустя мы живем с паноптиком на стероидах. И примеров его негативного воздействия на сообщества, стремящиеся к равенству, предостаточно, например, ложная идентификация Уильямса.

Ранее существовавшая предвзятость

Эта сортировка с использованием алгоритмов проникает в самые фундаментальные аспекты повседневной жизни, вызывая как прямое, так и структурное насилие.

Прямое насилие, которому подвергся Уильямс, сразу же проявляется в событиях, связанных с его арестом и задержанием, а нанесенный ему индивидуальный вред очевиден и может быть отнесен к действиям полиции, которая решила полагаться на «спичку» технологии при проведении ареста. Более коварным является структурное насилие осуществляется с помощью технологии распознавания лиц и другие цифровые технологии которые оценивают, сопоставляют, классифицируют и сортируют людей таким образом, чтобы усилить ранее существовавшие дискриминационные модели.

Вред структурного насилия менее очевиден и менее прямой, и наносит ущерб группам, стремящимся к равенству, из-за систематического отказа от власти, ресурсов и возможностей. Одновременно это увеличивает прямой риск и вред для отдельных членов этих групп.

Предиктивное использование полиции алгоритмическая обработка исторических данных для прогнозирования того, когда и где могут произойти новые преступления, соответственно распределяет ресурсы полиции и внедряет усиленное полицейское наблюдение в сообщества, обычно в малообеспеченных и расовых районах. Это увеличивает шансы того, что любая преступная деятельность, в том числе менее серьезная преступная деятельность, которая в противном случае могла бы не вызвать реакции полиции, будет обнаружена и наказана, что в конечном итоге ограничит жизненные шансы людей, живущих в этой среде.

И свидетельства неравенства в других секторах продолжают расти. Сотни студентов в Соединенном Королевстве протестовали 16 августа против катастрофических результатов Ofqual- ошибочный алгоритм, который правительство Великобритании использовало для определения студентов, которые могут поступить в университет. В 2019 году рекламный сервис микротаргетинга Facebook помогли десяткам работодателей государственного и частного секторов исключать людей из получения объявлений о вакансиях на основании возраста и пола. Исследование, проведенное ProPublica, задокументировало ценовая дискриминация по признаку расы для онлайн-товаров. А поисковые системы регулярно выдают расистские и сексистские результаты.

Увековечивая угнетение

Эти результаты имеют значение, потому что они увековечивают и углубляют ранее существовавшее неравенство, основанное на таких характеристиках, как раса, пол и возраст. Они также имеют значение, потому что они глубоко влияют на то, как мы познаем себя и мир вокруг нас, иногда через предварительный выбор информации мы получаем способами, которые укрепляют стереотипные представления. Даже сами технологические компании признают срочность остановки алгоритмов от увековечения дискриминации.

На сегодняшний день успех специальных расследований, проводимых самими технологическими компаниями, был непостоянным. Иногда корпорации, участвующие в создании дискриминационных систем, изымают их с рынка, например, когда Clearview AI объявила, что больше не будет предлагать технологию распознавания лиц в Канаде. Но часто такие решения являются результатом только контроля со стороны регулирующих органов или общественного протеста. после члены сообществ, стремящихся к равенству, уже пострадали.

Пришло время предоставить нашим регулирующим учреждениям инструменты, необходимые для решения этой проблемы. Простые меры защиты конфиденциальности, зависящие от получения индивидуального согласия, позволяющего компаниям собирать и перенаправлять данные, не могут быть отделены от дискриминационных результатов такого использования. Это особенно актуально в эпоху, когда большинство из нас (включая сами технологические компании) не может полностью понять, что делают алгоритмы или почему они дают определенные результаты.

Конфиденциальность - это право человека

Частично решение включает в себя разрушение существующих нормативных разрозненных структур, которые рассматривают конфиденциальность и права человека как отдельные вопросы. Использование модели защиты данных, основанной на согласии, противоречит основному принципу, согласно которому конфиденциальность и равенство являются правами человека, от которых нельзя отказаться.

Даже Цифровая хартия Канады - последняя попытка федерального правительства отреагировать на недостатки текущего состояния цифровой среды - сохраняет эти концептуальные различия. Он рассматривает ненависть и экстремизм, контроль и согласие и сильную демократию как отдельные категории.

Чтобы бороться с алгоритмической дискриминацией, мы должны признать и сформулировать как права человека, так и право на неприкосновенность частной жизни и равенство. И мы должны создать инфраструктуру, которая одинаково внимательна и компетентна в обоих случаях. Без таких усилий глянцевый блеск математики и естественных наук будет продолжать маскировать дискриминационные предубеждения ИИ, и можно ожидать, что количество пародий, подобных тому, что было нанесено Уильямсу, увеличится.

Об авторах

Джейн Бейли, профессор права и со-руководитель проекта eQuality, L'Université d'Ottawa / Университет Оттавы; Жаклин Буркелл, заместитель вице-президента по исследованиям, Западный университети Валери Стивс, профессор, L'Université d'Ottawa / Университет Оттавы

Эта статья переиздана из Беседа под лицензией Creative Commons. Прочтите оригинал статьи.

Книги о неравенстве из списка бестселлеров Amazon

«Каста: истоки нашего недовольства»

Изабель Вилкерсон

В этой книге Изабель Вилкерсон исследует историю кастовых систем в обществах по всему миру, в том числе в Соединенных Штатах. Книга исследует влияние касты на отдельных людей и общество и предлагает основу для понимания и решения проблемы неравенства.

Нажмите для получения дополнительной информации или для заказа

«Цвет закона: забытая история того, как наше правительство разделило Америку»

Ричард Ротштейн

В этой книге Ричард Ротштейн исследует историю государственной политики, которая создала и усилила расовую сегрегацию в Соединенных Штатах. В книге исследуется влияние этой политики на отдельных людей и сообщества, а также предлагается призыв к действиям по устранению сохраняющегося неравенства.

Нажмите для получения дополнительной информации или для заказа

«Сумма нас: чего всем стоит расизм и как мы можем процветать вместе»

Хизер МакГи

В этой книге Хизер МакГи исследует экономические и социальные издержки расизма и предлагает видение более справедливого и процветающего общества. В книгу вошли истории отдельных лиц и сообществ, которые бросили вызов неравенству, а также практические решения для создания более инклюзивного общества.

Нажмите для получения дополнительной информации или для заказа

«Миф о дефиците: современная денежная теория и рождение народной экономики»

Стефани Келтон

В этой книге Стефани Келтон бросает вызов общепринятым представлениям о государственных расходах и государственном дефиците и предлагает новую основу для понимания экономической политики. В книгу включены практические решения по устранению неравенства и созданию более справедливой экономики.

Нажмите для получения дополнительной информации или для заказа

«Новый Джим Кроу: массовое заключение в эпоху дальтонизма»

Мишель Александр

В этой книге Мишель Александер исследует способы, которыми система уголовного правосудия увековечивает расовое неравенство и дискриминацию, особенно в отношении чернокожих американцев. Книга включает исторический анализ системы и ее влияния, а также призыв к реформе.

Нажмите для получения дополнительной информации или для заказа