Недавно Amazon начала предлагать доставка в тот же день в отдельных городских районах. Это может быть полезно для многих клиентов, но развертывание показывает, как автоматизированное принятие решений может также обеспечить сильную дозу дискриминации.

Разумно, компания начала свои услуги в тех областях, где затраты на доставку были бы самыми низкими, путем определения почтовых индексов в густонаселенных местах для многих существующих клиентов Amazon с уровнями дохода, достаточно высокими, чтобы часто совершать покупки продуктов, доступных для доставки в тот же день. Компания предоставила веб-страницу, позволяющую клиентам вводить свой почтовый индекс, чтобы узнать, обслужил ли их доставку в тот же день. Журналисты-расследователи в Bloomberg News использовали эту страницу для создавать карты зоны обслуживания Amazon для доставки в тот же день.

Анализ Bloomberg показал, что многие бедные городские районы были исключены из зоны обслуживания, в то время как более богатые соседние районы были включены. Многие из этих исключенных бедных районов были преимущественно населены меньшинствами. Например, весь Бостон был покрыт, за исключением Роксбери; Покрытие в Нью-Йорке включало почти все четыре района, но полностью исключало Бронкс; Чикагский охват оставил обедневшую Южную Сторону, значительно расширив ее до богатых северных и западных пригородов.

Хотя вызывает соблазн полагать, что решения, основанные на данных, объективны, научно-исследовательская и научная дискуссия начинают демонстрировать, что несправедливость и дискриминация остаются, В моем онлайн-курс по этике данных, студенты узнают, что алгоритмы могут различать, Но может быть немного серебряной подкладки: как показывают исследования Bloomberg, основополагающие решения по данным могут также облегчить обнаружение, когда возникают предубеждения.

Смещение может быть непреднамеренным

Такая недобросовестность в политике доставки Amazon может возникнуть по многим причинам, в том числе скрытые предубеждения - например, предположения, что популяции распределены равномерно. Дизайнеры алгоритмов, вероятно, не намерены дискриминировать и даже не могут понять, что проблема закралась.

Амазонка сказала Блумбергу, что у него нет никаких дискриминационных намерений, и есть все основания полагать, что это требование. В ответ на доклад Bloomberg, город чиновников и другие политики призвал Amazon решить эту проблему. Компания быстро переместился, чтобы добавить первоначально исключенные плохие городские почтовые индексы к своей зоне обслуживания.

Аналогичный вопрос был спросил Убер, который, как представляется, обеспечивает лучший сервис для районов, населенных более высокими пропорциями белых людей. Вероятно, в будущем будет обнаружено больше примеров розничной и сервисной индустрии непреднамеренной алгоритмической дискриминации.

Запрашивать слишком много алгоритмов?

Мы должны сделать паузу, чтобы подумать, не слишком ли мы требуем алгоритмических решений. Компании, работающие с кирпичными и минометными магазинами, постоянно принимают решения о местоположении, принимая во внимание критерии, которые не отличаются от амазонок. Магазины пытаются располагать местами, которые удобны для большого пула потенциальных клиентов с деньгами, которые нужно потратить.

В результате, несколько магазинов предпочитают находить в бедных кварталах города. В частности, в контексте продуктовых магазинов это явление широко изучалось, и термин "пищевая пустыня«Используется для описания городских районов, жители которых не имеют удобного доступа к свежей пище. Эта смещение местоположения менее изучен для розничных магазинов в целом.

В качестве показательного примера я просмотрел размещение в Мичигане 55 Target, крупной комплексной розничной сети. Когда я отсортировал каждый почтовый индекс Мичигана, исходя из того, был ли его средний доход в верхней половине или нижней половине штата в целом, я обнаружил, что только 16 из хранилищ Target (29 процентов) были в почтовых индексах из группы с более низким доходом. Более чем в два раза больше магазинов 39 были размещены в почтовых индексах из более богатой половины.

Выявление дискриминации

Кроме того, в городе Детройт нет магазинов Target, хотя в его (более богатых) пригородах есть несколько. Тем не менее, не было популярного протеста, предполагающего, что Target несправедливо дискриминирует бедных людей в своих решениях о размещении на складе. Есть две основные причины, по которым обоснованы опасения по поводу Амазонки: жесткость и доминирование.

Жесткость связана как с процессами принятия решений онлайн-продавцом, так и с результатом. Amazon решает, какие почтовые индексы находятся в зоне обслуживания. Если клиент живет через дорогу от границы, установленной Амазонией, она находится за пределами зоны обслуживания и мало что может сделать. В отличие от этого, кто-то, кто живет в почтовом индексе без целевого хранилища, все еще может делать покупки в Target, хотя для этого может потребоваться больше времени.

Также важно, насколько доминирующим является розничный торговец в умах потребителей. В то время как Target является лишь одной из многих физических сетей магазинов, Amazon пользуется доминирование на рынке как интернет-магазин, и, следовательно, привлекает больше внимания. Такое доминирование характерно для сегодняшних победитель получает все веб-бизнеса.

В то время как их жесткость и доминирование могут вызвать у нас большую озабоченность в отношении онлайн-бизнеса, мы также лучше обнаруживаем их дискриминацию, чем мы для кирпичных и минометных магазинов. Для традиционного сетевого магазина нам нужно угадать, насколько они готовы путешествовать. Нам также может понадобиться знать время: пять миль до следующего выхода на автостраду - это не то же самое, что пять миль через перегруженные улицы в другую сторону города. Кроме того, время в пути может сильно варьироваться в зависимости от времени суток. После определения вероятных областей, в которых хранится магазин, они могут не отображаться аккуратно в географические единицы, для которых у нас есть статистика о расе или доходе. Короче говоря, анализ грязный и требует больших усилий.

Напротив, журналистам в Bloomberg потребовалось бы всего несколько часов, чтобы разработать карту зоны обслуживания Amazon и соотнести ее с доходом или расой. Если бы Amazon сделала это внутренне, они могли бы провести тот же анализ всего за несколько минут - и, возможно, заметили проблемы и исправили их до того, как началось однодневное обслуживание.

Как люди сравниваются?

Давайте посмотрим на совсем другой пример, чтобы увидеть, как одни и те же точки применяются широко. Недавно опубликован ProPublica отличный анализ расовой дискриминации по алгоритму, который предсказывает вероятность преступника снова оскорбить. Алгоритм рассматривает десятки факторов и вычисляет вероятностную оценку. Анализ ProPublica обнаружил значительную систематическую расовую предвзятость, хотя раса не была в числе рассматриваемых конкретных факторов.

Без алгоритма судья-судья сделал бы аналогичную оценку, как часть решения о вынесении приговора или условно-досрочного освобождения. В человеческом решении может рассматриваться более богатый набор факторов, таких как поведение судебного зала преступника. Но мы знаем, что исследования в психологии, Что принятие решений человеком изобилует предвзятостью, даже когда мы стараемся быть честными.

Но любые ошибки, которые возникают из-за смещения в решениях судей, вероятно, будут отличаться от судей и даже для разных решений одного и того же судьи. В совокупности может быть расовая дискриминация из-за подсознательное смещение, но установить это окончательно сложно. В исследовании Министерства юстиции США были получены убедительные доказательства несоответствия приговоров белым и черным осужденным, но не мог четко определить, является ли сама рассадка фактором в этих решениях.

Напротив, тот же самый алгоритм, который просматривал ProPublica, используется в тысячах случаев во многих штатах. Его жесткость и большой объем облегчают задачу определения, дискриминирует ли она, и могут предложить способы эффективного устранения проблемы.

Использование информационных технологий, по-видимому, делает линии ярче, различия более строгие и данные обо всем этом гораздо легче доступны. Что теперь можно было подкрасить под коврик, теперь кричат ​​о внимании. Поскольку мы все больше и больше используем алгоритмы, основанные на данных, пока еще не принято анализировать их справедливость, особенно до выхода из новой службы на основе данных. Сделать это так будет долгий путь для измерения и улучшения, справедливости этих все более важных компьютеризированных расчетов.

Об авторе

HV Jagadish, Bernard A Galler Энциклопедический профессор электротехники и информатики, Мичиганский университет

Эта статья изначально была опубликована в Беседа, Прочтите оригинал статьи.

Книги по этой теме

at Внутренний рынок самовыражения и Amazon