Как технология распознавания лиц ошибочна и предвзята на расовой почве

Как технология распознавания лиц ошибочна и предвзята на расовой почве
Алгоритмы распознавания лиц обычно тестируются с использованием белых лиц, что приводит к тому, что технология не может различать расовых людей. (Шаттерстки)

Полиция Детройта незаконно арестовала Роберта Джулиана-Борчака Уильямса в январе 2020 года за кражу в магазине, произошедшую двумя годами ранее. Несмотря на то, что Уильямс не имел ничего общего с инцидентом, технология распознавания лиц, используемая полицией штата Мичиган, «сопоставила» его лицо с зернистым изображением, полученным из видеозаписи наблюдения в магазине, на которой другой афроамериканец берет часы на сумму 3,800 XNUMX долларов США.

Спустя две недели дело было закрыто по ходатайству обвинения. Однако, полагаясь на ошибочный матч, полиция уже надели наручники и арестовала Уильямса на глазах у его семьи, заставила его сделать снимок кружки, отпечатки пальцев и образец его ДНК, допросила его и заключила в тюрьму на ночь.

Эксперты предполагают, что Уильямс не одинок и что другие подвергались подобной несправедливости. Продолжающиеся споры об использовании Clearview AI полицией, безусловно, подчеркивают риски конфиденциальности, связанные с технологией распознавания лиц. Но важно понимать, что не все из нас одинаково несут эти риски.

Тренировка расистских алгоритмов

Технология распознавания лиц, которая обучены и настроены на кавказские лица систематически неверно идентифицирует и неправильно маркирует расовых людей: многочисленные исследования сообщают, что технология распознавания лиц «ошибочные и предвзятые, со значительно более высоким процентом ошибок при использовании против цветных людей".

Этот подрывает индивидуальность и человечность расовых людей которые с большей вероятностью будут ошибочно идентифицированы как преступники. Технология - и ошибки идентификации, которые она делает - отражает и еще больше укрепляет давние социальные разделения, которые глубоко связаны с расизмом, сексизмом, гомофобией, колониализмом поселенцев и другими пересекающимися угнетениями.


Расследование France24 о расовой предвзятости в технологии распознавания лиц.

Как технология классифицирует пользователей

В своей книге 1993 года, которая изменила правила игры, Паноптическая сортировка, ученый Оскар Ганди предупредил, что «сложная технология [которая] включает сбор, обработку и обмен информацией об отдельных лицах и группах, которая создается в их повседневной жизни ... используется для координации и контроля их доступа к товарам и услугам, которые определяют жизнь в современная капиталистическая экономика ». Правоохранительные органы используют его, чтобы отобрать подозреваемых среди широкой публики, а частные организации используют его, чтобы определить, есть ли у нас доступ к таким вещам, как банковских и занятость.


Получите последние новости от InnerSelf


Ганди пророчески предупредил, что, если ее не остановить, эта форма «кибернетической сортировки» экспоненциально поставит в невыгодное положение членов сообществ, стремящихся к равенству - например, групп, которые являются расовыми или социально-экономически невыгодными - как с точки зрения того, что им будет выделено, так и как они могли бы прийти к пониманию самих себя.

Примерно 25 лет спустя мы живем с паноптиком на стероидах. И примеров его негативного воздействия на сообщества, стремящиеся к равенству, предостаточно, например, ложная идентификация Уильямса.

Ранее существовавшая предвзятость

Эта сортировка с использованием алгоритмов проникает в самые фундаментальные аспекты повседневной жизни, вызывая как прямое, так и структурное насилие.

Прямое насилие, которому подвергся Уильямс, сразу же проявляется в событиях, связанных с его арестом и задержанием, а нанесенный ему индивидуальный вред очевиден и может быть отнесен к действиям полиции, которая решила полагаться на «спичку» технологии при проведении ареста. Более коварным является структурное насилие осуществляется с помощью технологии распознавания лиц и другие цифровые технологии которые оценивают, сопоставляют, классифицируют и сортируют людей таким образом, чтобы усилить ранее существовавшие дискриминационные модели.

Вред структурного насилия менее очевиден и менее прямой, и наносит ущерб группам, стремящимся к равенству, из-за систематического отказа от власти, ресурсов и возможностей. Одновременно это увеличивает прямой риск и вред для отдельных членов этих групп.

Предиктивное использование полиции алгоритмическая обработка исторических данных для прогнозирования того, когда и где могут произойти новые преступления, соответственно распределяет ресурсы полиции и внедряет усиленное полицейское наблюдение в сообщества, обычно в малообеспеченных и расовых районах. Это увеличивает шансы того, что любая преступная деятельность, в том числе менее серьезная преступная деятельность, которая в противном случае могла бы не вызвать реакции полиции, будет обнаружена и наказана, что в конечном итоге ограничит жизненные шансы людей, живущих в этой среде.

И свидетельства неравенства в других секторах продолжают расти. Сотни студентов в Соединенном Королевстве протестовали 16 августа против катастрофических результатов Ofqual- ошибочный алгоритм, который правительство Великобритании использовало для определения студентов, которые могут поступить в университет. В 2019 году рекламный сервис микротаргетинга Facebook помогли десяткам работодателей государственного и частного секторов исключать людей из получения объявлений о вакансиях на основании возраста и пола. Исследование, проведенное ProPublica, задокументировало ценовая дискриминация по признаку расы для онлайн-товаров. А поисковые системы регулярно выдают расистские и сексистские результаты.

Увековечивая угнетение

Эти результаты имеют значение, потому что они увековечивают и углубляют ранее существовавшее неравенство, основанное на таких характеристиках, как раса, пол и возраст. Они также имеют значение, потому что они глубоко влияют на то, как мы познаем себя и мир вокруг нас, иногда через предварительный выбор информации мы получаем способами, которые укрепляют стереотипные представления. Даже сами технологические компании признают срочность остановки алгоритмов от увековечения дискриминации.

На сегодняшний день успех специальных расследований, проводимых самими технологическими компаниями, был непостоянным. Иногда корпорации, участвующие в создании дискриминационных систем, изымают их с рынка, например, когда Clearview AI объявила, что больше не будет предлагать технологию распознавания лиц в Канаде. Но часто такие решения являются результатом только контроля со стороны регулирующих органов или общественного протеста. после члены сообществ, стремящихся к равенству, уже пострадали.

Пришло время предоставить нашим регулирующим учреждениям инструменты, необходимые для решения этой проблемы. Простые меры защиты конфиденциальности, зависящие от получения индивидуального согласия, позволяющего компаниям собирать и перенаправлять данные, не могут быть отделены от дискриминационных результатов такого использования. Это особенно актуально в эпоху, когда большинство из нас (включая сами технологические компании) не может полностью понять, что делают алгоритмы или почему они дают определенные результаты.

Конфиденциальность - это право человека

Частично решение включает в себя разрушение существующих нормативных разрозненных структур, которые рассматривают конфиденциальность и права человека как отдельные вопросы. Использование модели защиты данных, основанной на согласии, противоречит основному принципу, согласно которому конфиденциальность и равенство являются правами человека, от которых нельзя отказаться.

Даже Цифровая хартия Канады - последняя попытка федерального правительства отреагировать на недостатки текущего состояния цифровой среды - сохраняет эти концептуальные различия. Он рассматривает ненависть и экстремизм, контроль и согласие и сильную демократию как отдельные категории.

Чтобы бороться с алгоритмической дискриминацией, мы должны признать и сформулировать как права человека, так и право на неприкосновенность частной жизни и равенство. И мы должны создать инфраструктуру, которая одинаково внимательна и компетентна в обоих случаях. Без таких усилий глянцевый блеск математики и естественных наук будет продолжать маскировать дискриминационные предубеждения ИИ, и можно ожидать, что количество пародий, подобных тому, что было нанесено Уильямсу, увеличится.Беседа

Об авторах

Джейн Бейли, профессор права и со-руководитель проекта eQuality, L'Université d'Ottawa / Университет Оттавы; Жаклин Буркелл, заместитель вице-президента по исследованиям, Западный университети Валери Стивс, профессор, L'Université d'Ottawa / Университет Оттавы

Эта статья переиздана из Беседа под лицензией Creative Commons. Прочтите оригинал статьи.

Поддержите хорошую работу!
enafarZH-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

Следуйте за InnerSelf

facebook-значокTwitter-значокНовости-значок

Получить последнее по электронной почте

{Emailcloak = выкл}

ВНУТРЕННИЕ ГОЛОСЫ

САМОЕ ЧИТАЕМОЕ

ОТ РЕДАКТОРОВ

InnerSelf Информационный бюллетень: октябрь 18, 2020
by InnerSelf персонала
В наши дни мы живем в мини-пузырях ... в наших собственных домах, на работе и в общественных местах, и, возможно, в нашем собственном уме и с нашими собственными эмоциями. Однако жить в пузыре или чувствовать себя…
InnerSelf Информационный бюллетень: октябрь 11, 2020
by InnerSelf персонала
Жизнь - это путешествие, и, как и в большинстве путешествий, есть свои взлеты и падения. И точно так же, как день всегда следует за ночью, наши личные повседневные переживания меняются от темноты к свету, туда и обратно. Однако,…
InnerSelf Информационный бюллетень: октябрь 4, 2020
by InnerSelf персонала
Что бы мы ни пережили, как индивидуально, так и коллективно, мы должны помнить, что мы не беспомощные жертвы. Мы можем восстановить нашу силу, чтобы исцелить нашу жизнь, духовно и эмоционально…
Информационный бюллетень InnerSelf: сентябрь 27, 2020
by InnerSelf персонала
Одна из самых сильных сторон человечества - это наша способность быть гибкими, творческими и нестандартными. Быть кем-то другим, чем мы были вчера или позавчера. Мы можем изменить ... ...
Что работает для меня: «Для высочайшего блага»
by Мари Т. Рассел, Внутренний
Причина, по которой я делюсь «тем, что работает для меня», заключается в том, что это может сработать и для вас. Если не совсем так, как я это делаю, поскольку мы все уникальны, некоторые различия в подходах или методах вполне могут быть чем-то ...