Как алгоритмы могут быть более справедливыми, чем люди

Как алгоритмы могут быть более справедливыми, чем люди

Недавно Amazon начала предлагать доставка в тот же день в отдельных городских районах. Это может быть полезно для многих клиентов, но развертывание показывает, как автоматизированное принятие решений может также обеспечить сильную дозу дискриминации.

Разумно, компания начала свои услуги в тех областях, где затраты на доставку были бы самыми низкими, путем определения почтовых индексов в густонаселенных местах для многих существующих клиентов Amazon с уровнями дохода, достаточно высокими, чтобы часто совершать покупки продуктов, доступных для доставки в тот же день. Компания предоставила веб-страницу, позволяющую клиентам вводить свой почтовый индекс, чтобы узнать, обслужил ли их доставку в тот же день. Журналисты-расследователи в Bloomberg News использовали эту страницу для создавать карты зоны обслуживания Amazon для доставки в тот же день.

Анализ Bloomberg показал, что многие бедные городские районы были исключены из зоны обслуживания, в то время как более богатые соседние районы были включены. Многие из этих исключенных бедных районов были преимущественно населены меньшинствами. Например, весь Бостон был покрыт, за исключением Роксбери; Покрытие в Нью-Йорке включало почти все четыре района, но полностью исключало Бронкс; Чикагский охват оставил обедневшую Южную Сторону, значительно расширив ее до богатых северных и западных пригородов.

Хотя вызывает соблазн полагать, что решения, основанные на данных, объективны, научно-исследовательская и научная дискуссия начинают демонстрировать, что несправедливость и дискриминация остаются, В моем онлайн-курс по этике данных, студенты узнают, что алгоритмы могут различать, Но может быть немного серебряной подкладки: как показывают исследования Bloomberg, основополагающие решения по данным могут также облегчить обнаружение, когда возникают предубеждения.

Смещение может быть непреднамеренным

Такая недобросовестность в политике доставки Amazon может возникнуть по многим причинам, в том числе скрытые предубеждения - например, предположения, что популяции распределены равномерно. Дизайнеры алгоритмов, вероятно, не намерены дискриминировать и даже не могут понять, что проблема закралась.

Амазонка сказала Блумбергу, что у него нет никаких дискриминационных намерений, и есть все основания полагать, что это требование. В ответ на доклад Bloomberg, город чиновников и другие политики призвал Amazon решить эту проблему. Компания быстро переместился, чтобы добавить первоначально исключенные плохие городские почтовые индексы к своей зоне обслуживания.

Аналогичный вопрос был спросил Убер, который, как представляется, обеспечивает лучший сервис для районов, населенных более высокими пропорциями белых людей. Вероятно, в будущем будет обнаружено больше примеров розничной и сервисной индустрии непреднамеренной алгоритмической дискриминации.

Запрашивать слишком много алгоритмов?

Мы должны сделать паузу, чтобы подумать, не слишком ли мы требуем алгоритмических решений. Компании, работающие с кирпичными и минометными магазинами, постоянно принимают решения о местоположении, принимая во внимание критерии, которые не отличаются от амазонок. Магазины пытаются располагать местами, которые удобны для большого пула потенциальных клиентов с деньгами, которые нужно потратить.

В результате, несколько магазинов предпочитают находить в бедных кварталах города. В частности, в контексте продуктовых магазинов это явление широко изучалось, и термин "пищевая пустыня«Используется для описания городских районов, жители которых не имеют удобного доступа к свежей пище. Эта смещение местоположения менее изучен для розничных магазинов в целом.

В качестве показательного примера я просмотрел размещение в Мичигане 55 Target, крупной комплексной розничной сети. Когда я отсортировал каждый почтовый индекс Мичигана, исходя из того, был ли его средний доход в верхней половине или нижней половине штата в целом, я обнаружил, что только 16 из хранилищ Target (29 процентов) были в почтовых индексах из группы с более низким доходом. Более чем в два раза больше магазинов 39 были размещены в почтовых индексах из более богатой половины.


 Получить последнее по электронной почте

Еженедельный Журнал Ежедневно Вдохновение

Выявление дискриминации

Кроме того, в городе Детройт нет магазинов Target, хотя в его (более богатых) пригородах есть несколько. Тем не менее, не было популярного протеста, предполагающего, что Target несправедливо дискриминирует бедных людей в своих решениях о размещении на складе. Есть две основные причины, по которым обоснованы опасения по поводу Амазонки: жесткость и доминирование.

Жесткость связана как с процессами принятия решений онлайн-продавцом, так и с результатом. Amazon решает, какие почтовые индексы находятся в зоне обслуживания. Если клиент живет через дорогу от границы, установленной Амазонией, она находится за пределами зоны обслуживания и мало что может сделать. В отличие от этого, кто-то, кто живет в почтовом индексе без целевого хранилища, все еще может делать покупки в Target, хотя для этого может потребоваться больше времени.

Также важно, насколько доминирующим является розничный торговец в умах потребителей. В то время как Target является лишь одной из многих физических сетей магазинов, Amazon пользуется доминирование на рынке как интернет-магазин, и, следовательно, привлекает больше внимания. Такое доминирование характерно для сегодняшних победитель получает все веб-бизнеса.

В то время как их жесткость и доминирование могут вызвать у нас большую озабоченность в отношении онлайн-бизнеса, мы также лучше обнаруживаем их дискриминацию, чем мы для кирпичных и минометных магазинов. Для традиционного сетевого магазина нам нужно угадать, насколько они готовы путешествовать. Нам также может понадобиться знать время: пять миль до следующего выхода на автостраду - это не то же самое, что пять миль через перегруженные улицы в другую сторону города. Кроме того, время в пути может сильно варьироваться в зависимости от времени суток. После определения вероятных областей, в которых хранится магазин, они могут не отображаться аккуратно в географические единицы, для которых у нас есть статистика о расе или доходе. Короче говоря, анализ грязный и требует больших усилий.

Напротив, журналистам в Bloomberg потребовалось бы всего несколько часов, чтобы разработать карту зоны обслуживания Amazon и соотнести ее с доходом или расой. Если бы Amazon сделала это внутренне, они могли бы провести тот же анализ всего за несколько минут - и, возможно, заметили проблемы и исправили их до того, как началось однодневное обслуживание.

Как люди сравниваются?

Давайте посмотрим на совсем другой пример, чтобы увидеть, как одни и те же точки применяются широко. Недавно опубликован ProPublica отличный анализ расовой дискриминации по алгоритму, который предсказывает вероятность преступника снова оскорбить. Алгоритм рассматривает десятки факторов и вычисляет вероятностную оценку. Анализ ProPublica обнаружил значительную систематическую расовую предвзятость, хотя раса не была в числе рассматриваемых конкретных факторов.

Без алгоритма судья-судья сделал бы аналогичную оценку, как часть решения о вынесении приговора или условно-досрочного освобождения. В человеческом решении может рассматриваться более богатый набор факторов, таких как поведение судебного зала преступника. Но мы знаем, что исследования в психологии, Что принятие решений человеком изобилует предвзятостью, даже когда мы стараемся быть честными.

Но любые ошибки, которые возникают из-за смещения в решениях судей, вероятно, будут отличаться от судей и даже для разных решений одного и того же судьи. В совокупности может быть расовая дискриминация из-за подсознательное смещение, но установить это окончательно сложно. В исследовании Министерства юстиции США были получены убедительные доказательства несоответствия приговоров белым и черным осужденным, но не мог четко определить, является ли сама рассадка фактором в этих решениях.

Напротив, тот же самый алгоритм, который просматривал ProPublica, используется в тысячах случаев во многих штатах. Его жесткость и большой объем облегчают задачу определения, дискриминирует ли она, и могут предложить способы эффективного устранения проблемы.

Использование информационных технологий, по-видимому, делает линии ярче, различия более строгие и данные обо всем этом гораздо легче доступны. Что теперь можно было подкрасить под коврик, теперь кричат ​​о внимании. Поскольку мы все больше и больше используем алгоритмы, основанные на данных, пока еще не принято анализировать их справедливость, особенно до выхода из новой службы на основе данных. Сделать это так будет долгий путь для измерения и улучшения, справедливости этих все более важных компьютеризированных расчетов.

Об автореБеседа

HV Jagadish, Bernard A Galler Энциклопедический профессор электротехники и информатики, Мичиганский университет

Эта статья изначально была опубликована в Беседа, Прочтите оригинал статьи.

Книги по этой теме

at Внутренний рынок самовыражения и Amazon

 

Другие статьи этого автора

Вам также может понравиться

Следуйте за InnerSelf

значок facebookзначок Twitterзначок YouTubeзначок Instagramпиктограммазначок rss

 Получить последнее по электронной почте

Еженедельный Журнал Ежедневно Вдохновение

ДОСТУПНЫЕ ЯЗЫКИ

enafarzh-CNzh-TWdanltlfifrdeeliwhihuiditjakomsnofaplptroruesswsvthtrukurvi

ВНУТРЕННИЕ ГОЛОСЫ

Лунное затмение, 12 мая 2022 г.
Астрологический обзор и гороскоп: 23–29 мая 2022 г.
by Пэм Younghans
Этот еженедельный астрологический журнал основан на планетных влияниях и предлагает перспективы и…
05 21 разбудить воображение в опасные времена 5362430 1920
Переосмысление воображения в опасные времена
by Натурза Габриэль Крам
В мире, который часто кажется намеренным разрушить себя, я ловлю себя на том, что храню красоту — такую…
группа представителей разных рас, стоящих для группового фото
Семь способов проявить уважение к своей разнообразной команде (видео)
by Келли Макдональд
Уважение глубоко значимо, но дарить ничего не стоит. Вот способы, которыми вы можете продемонстрировать (и…
слон идет перед заходящим солнцем
Астрологический обзор и гороскоп: 16–22 мая 2022 г.
by Пэм Younghans
Этот еженедельный астрологический журнал основан на планетных влияниях и предлагает перспективы и…
фото Лео Бускальи с обложки его книги: Жизнь, любовь и обучение
Как изменить чью-то жизнь за несколько секунд
by Джойс Vissell
Моя жизнь резко изменилась, когда кто-то воспользовался этой секундой, чтобы указать на мою красоту.
составная фотография полного лунного затмения
Астрологический обзор и гороскоп: 9–15 мая 2022 г.
by Пэм Younghans
Этот еженедельный астрологический журнал основан на планетных влияниях и предлагает перспективы и…
05 08 развитие сострадательного мышления 2593344 завершено
Развитие сострадательного мышления по отношению к себе и другим
by Мария Т. Рассел, InnerSelf.com
Когда люди говорят о сострадании, они в основном имеют в виду сострадание к другим...
мужчина пишет письмо
Пишите правду и позволяйте эмоциям течь
by Барбара Бергер
Записывать вещи — хороший способ попрактиковаться в том, чтобы говорить правду.
Медитация Присутствия: Мысль и Дыхание
Медитация Присутствия: Осознание Мысли и Дыхания
by Даррен Кокберн
На протяжении многих лет я практиковал ряд буддийских техник медитации, включая осознанность ...
Почему надежда заслуживает доверия
Почему надежда заслуживает доверия
by Алан Коэн
Вам не нужно создавать неблагоприятные обстоятельства, чтобы найти причину сделать то, что вы хотите делать или избегать ...
Благословение: путь передачи любви, мира, исцеления и добра в мир
Благословение: путь передачи любви, мира, исцеления и добра в мир
by Пьер Pradervand
Благословение - это способ послать безусловную любовь, мир, исцеление, добро человеку или…

САМОЕ ЧИТАЕМОЕ

восстановление окружающей среды 4 14
Как местные птицы возвращаются в восстановленные городские леса Новой Зеландии
by Элизабет Эллиот Ноэ, Университет Линкольна и др.
Урбанизация и разрушение среды обитания, которое она влечет за собой, представляют собой серьезную угрозу для местных птиц…
История страданий и смертей, стоящих за запретом абортов в Ирландии и последующей легализацией
История страданий и смертей, стоящих за запретом абортов в Ирландии и последующей легализацией
by Гретхен Э. Эли, Университет Теннесси
Если Верховный суд США отменит решение «Роу против Уэйда» от 1973 года, легализовавшее аборты в…
сколько сна вам нужно 4 7
Сколько сна вам действительно нужно
by Барбара Жаклин Саакян, Кембриджский университет, и др.
Большинство из нас изо всех сил пытаются хорошо думать после плохого ночного сна — чувствуя себя затуманенными и неспособными работать…
доверчивые общества счастливы 4 14
Почему доверчивые общества в целом счастливее
by Энджамин Рэдклифф, Университет Нотр-Дам
Люди — социальные животные. Это означает, почти по логической необходимости, что люди…
польза воды с лимоном 4 14
Будет ли лимонная вода очищать или заряжать вас энергией?
by Эванджелин Манциорис, Университет Южной Австралии
Если верить анекдотам в Интернете, пить теплую воду с каплей лимонного сока — это…
группа представителей разных рас, стоящих для группового фото
Семь способов проявить уважение к своей разнообразной команде (видео)
by Келли Макдональд
Уважение глубоко значимо, но дарить ничего не стоит. Вот способы, которыми вы можете продемонстрировать (и…
эконом 4 14
5 фактов, о которых знают экономисты, но которые большинству людей кажутся неверными
by Рено Фукарт, Ланкастерский университет
Любопытно, что наша профессия состоит в том, что, когда мы, академические экономисты, в значительной степени согласны с каждым…
учимся концентрировать внимание 4 14
Эти стратегии и лайфхаки помогут любому, у кого проблемы с вниманием
by Роб Розенталь, Университет Колорадо
Из-за постоянного потока негативных отзывов, которые люди получают о своей продуктивности,…

Новое отношение - новые возможности

InnerSelf.comClimateImpactNews.com | InnerPower.net
MightyNatural.com | WholistPolitics.com | Рынок InnerSelf
Copyright © 1985 - 2021 Innerself Публикации. Все права защищены.