Сортировка по алгоритмам помещает нас в коробки. Откуда мы знаем, что они правильные? сгенерированный, CC BYСортировка по алгоритмам помещает нас в коробки. Откуда мы знаем, что они правильные? сгенерированный, CC BY

Общество, похоже, находится на курсе до такой степени, что наша жизнь подвержена анализу компьютерных алгоритмов. Данные, которые мы генерируем, оцениваются и анализируются, будь то правительствами для национальной безопасности или компаниями для получения прибыли, и это вряд ли изменится - власть и привлекательность анализа данных, найденных после этого, не будут легко устранены.

Но на самом деле я задаюсь вопросом, больше ли я обеспокоен тем, что собираются наши данные, или тем фактом, что мы ничего не знаем об алгоритмах, которые вызывают суждение над нами.

Уровень детализации о нашей жизни и привычках, которые могут быть распущены из данных, которые мы оставляем позади, обсуждался ранее, и получает свежий эфир в рамках дебатов вокруг проекта Великобритании Следственное Пауэрс Билл, Мы знаем, по крайней мере, что-то о том, какие данные собираются и как долго они хранятся, некоторые из которых регулируются британским и европейским законодательством.

В текст законопроекта, например, мы знаем, что правительство Великобритании будет «требовать» (необоснованный) доступ к метаданным связи, заголовкам и темам электронной почты и записи телефонных звонков. Но мы также знаем, насколько очевидны только метаданные: взгляните на Проект погружения MIT Media Lab для мощного примера того, насколько подробно можно определить подробности. Это, безусловно, вообще не сопоставимы с детализированного счета телефона, как заявлено.


графика подписки внутри себя


Поэтому к лучшему или к худшему мы, общественность, имеем некоторое представление о том, что записывается. Но мы абсолютно не знаем, какие аналитические инструменты и методы применяются к этим данным, и значение этого не следует недооценивать.

Что заставляет цифры?

Мы можем сделать обоснованные догадки. Национальные агентства безопасности, вероятно, используют наши метаданные для создания социальных сетей между людьми и местами, между прочим, связывая нас вместе. Затем эти сети отношений будут проанализированы, чтобы определить, являемся ли мы заинтересованным лицом, определяемым тем, как вы сравниваете себя с другими заинтересованными лицами и как вы связываетесь с существующими заинтересованными лицами или с теми, кто связан с ними.

Исследователи, которые используют эти методы, понимают свои ограничения и что алгоритмы, которые их приводят, могут содержать ошибки или лежащие в основе предположения, которые оказывают глубокое влияние на их выход. В этом случае это может означать, что вы помечены террористом или нет, или имеете ли вы право на получение кредита или ипотеку.

Также не совсем ясно, где в нечетких пограничных областях определено существование отношения. Просто ли посещение того же веб-сайта, что и террорист, подразумевает общие ценности или каждый раз ездит на одном автобусном маршруте, предлагайте вам регулярно разговаривать с террористами? Вполне возможно посещать сайты, часто посещаемые известными террористами по многим законным причинам. Если вы получаете новости с тех же сайтов, что и террористы, вы, скорее всего, будете террористом? Дискриминация и предвзятость могут быть введены в момент сбора данных, а затем снова, когда принимаются решения о том, как анализировать эти данные. Алгоритмы также могут различать.

Размытые границы

Возможность, что алгоритмы вводят нежелательное смещение, является очень реальной. Например, те, которые используются службами безопасности, обучаются на наборах данных известных террористов и известных не-террористов. Означает ли это, что, поскольку большинство известных террористов - мужчины в возрасте 20-30, вы, скорее всего, будете классифицироваться как террорист, просто будучи мужчиной и старше примерно 20-30, независимо от ваших других атрибутов ?. Если это так, оказывает ли это существенное влияние на использование данных?

Проблема связана с тем, что я и другие ученые-исследователи, использующие сложный сетевой анализ, машинное обучение, сопоставление образцов или методы искусственного интеллекта, используют наши методы, которые публично просматриваются, чтобы определить силу методов и обоснованность выводов; государственные службы безопасности и организации частного сектора этого не делают. Мы не имеем представления о качестве их методов и способах их развертывания. Есть ли этому решение?

Те из другой области безопасности, криптографии, давно узнали, что лучший способ улучшить качество и, следовательно, безопасность его алгоритмов - сделать их общедоступными. Публикация криптографических реализаций и шифров, и исследователи призваны пытаться найти ошибки или недостатки, тем самым улучшая безопасность для всех, кто их использует. Кроме того, любая реализация криптогафических алгоритмов с закрытым исходным кодом (непубличным), как правило, относятся с подозрением, Если они должны произносить на нас изменяющие жизнь суждения - будем ли мы помечены как террористы или финансово недостойны - та же модель должна применяться к алгоритмам безопасности.

Аргумент против такого шага заключается в том, что открытые и прозрачные алгоритмы могут заставить террористов изменить свое поведение в реальном мире, чтобы избежать его обнаружения. Это означало бы изменение таких вещей, как их взаимодействия, ассоциации, привычки к просмотру и, возможно, движения. Но это, если алгоритмы работают должным образом, означало бы, что они по сути перестают действовать как террористы. Если наша будущая безопасность, свобода и безопасность будут зависеть от этих алгоритмов, мы должны быть уверены точно, как - и что - они работают.

Об автореБеседа

Филип Гарнетт, преподаватель Йоркского университета.

Эта статья изначально была опубликована в Беседа, Прочтите оригинал статьи.

Связанные книги:

at