Люди, которые подают заявку на получение кредита от банка или кредитной карты, и отказываются, объясняются, почему это произошло. Это хорошая идея - потому что это может помочь научить людей, как восстановить поврежденный кредит, - и это федеральный закон, Закон о равных кредитах, Получение ответа не было проблемой много лет назад, когда люди принимали эти решения. Но сегодня, поскольку системы искусственного интеллекта все чаще помогают или заменяют людей, принимающих кредитные решения, получить эти объяснения стало намного сложнее.

Традиционно кредитный специалист, который отклонил заявку, мог сказать потенциальному заемщику, возникла проблема с уровнем их дохода или трудоустройством или независимо от того,, Но компьютеризированные системы, которые используют сложные обучение с помощью машины модели трудно объяснить, даже для экспертов.

Решения о потребительском кредитовании - это лишь один из способов возникновения этой проблемы. Аналогичные проблемы существуют в здравоохранение, Интернет-маркетинг и даже уголовное правосудие, Мой собственный интерес к этой области начался, когда исследовательская группа, в которую я участвовала гендерный уклон в том, как были нацелены онлайн-объявления, но не мог объяснить, почему это произошло.

Все эти отрасли и многие другие, которые используют машинное обучение для анализа процессов и принятия решений, имеют немного больше года, чтобы лучше понять, как работают их системы. В мае 2018 новый Общее правило защиты данных Европейского союза в том числе раздел, дающий людям право получить объяснение для автоматизированных решений, которые влияют на их жизнь. Какую форму должны принимать эти объяснения, и можем ли мы их фактически предоставить?

Определение основных причин

Один из способов описать, почему автоматическое решение вышло так, как это было сделано, - это определить факторы, которые были наиболее влиятельными в решении. Какая часть решения об отказе в кредите была связана с тем, что заявитель не зарабатывал достаточно денег или потому, что он не смог погасить кредиты в прошлом?

Моя исследовательская группа в Университете Карнеги-Меллона, включая аспиранта Шаяка Сена и затем постдока Яира Зика, создала способ измерять относительное влияние каждого фактора. Мы называем это количественным входным воздействием.

В дополнение к лучшему пониманию индивидуального решения измерение также может пролить свет на группу решений: отказался ли алгоритм от кредитования в первую очередь из-за финансовых проблем, например, сколько заявитель уже должен по другим долгам? Или был более важным почтовый индекс заявителя - предлагая более фундаментальные демографии, такие как раса, возможно, вступили в игру?

Захват причинности

Когда система принимает решения, основанные на нескольких факторах, важно определить, какие факторы вызывают решения и их относительный вклад.

Например, представьте себе систему кредитного решения, которая берет только два входа, отношение долга к доходу заявителя и ее расы, и было показано, что они одобряют кредиты только для кавказцев. Знание того, насколько каждый фактор способствовал принятию решения, может помочь нам понять, является ли это законной системой или является ли она дискриминационной.

Объяснение может просто смотреть на исходные данные и результаты и наблюдать корреляцию - у некавказцев не было кредитов. Но это объяснение слишком упрощено. Предположим, что у некавказцев, которым было отказано в кредитах, также были гораздо более низкие доходы, чем у кавказцев, чьи заявки были успешными. Тогда это объяснение не может рассказать нам, вызвало ли отношение заявителей гонорары или отношение долга к доходу.

Наш метод может предоставить эту информацию. Рассказать о различии означает, что мы можем дразнить, является ли система несправедливой дискриминацией или рассматривает законные критерии, такие как финансы претендентов.

Чтобы измерить влияние расы в конкретном кредитном решении, мы повторяем процесс подачи заявки, сохраняя отношение долга к доходу, но изменяя расу заявителя. Если изменение гонки действительно влияет на результат, мы знаем, что гонка является решающим фактором. Если нет, мы можем заключить, что алгоритм смотрит только на финансовую информацию.

Помимо выявления факторов, которые являются причинами, мы можем измерить их относительное причинное влияние на решение. Мы делаем это путем случайного изменения фактора (например, расы) и измерения того, насколько вероятно, что результат изменится. Чем выше вероятность, тем больше влияние фактора.

Агрегатное влияние

Наш метод также может включать несколько факторов, которые работают вместе. Рассмотрите систему принятия решений, которая предоставляет кредит претендентам, которые отвечают двум из трех критериев: кредитная оценка выше 600, право собственности на автомобиль и будет ли заявитель полностью погасить ипотечный кредит. Скажите заявителю, Алисе, с кредитным счетом 730 и без автомобиля или ипотечного кредита, отказывают в кредите. Она задается вопросом, является ли ее статус собственности на автомобиль или история погашения ипотечного кредита основной причиной.

Аналогия может помочь объяснить, как мы анализируем эту ситуацию. Рассмотрите суд, в котором решения принимаются большинством голосов группы из трех судей, где один из них является консервативным, один - либералом, а третий - качелиным голосованием, кто-то, кто может присоединиться к одному из своих коллег. В консервативном решении 2-1 судья качелей оказал большее влияние на результат, чем либеральный судья.

Факторы нашего кредитного примера похожи на трех судей. Первый судья обычно голосует за кредит, потому что у многих претендентов достаточно высокий кредитный рейтинг. Второй судья почти всегда голосует против кредита, потому что очень немногие заявители когда-либо выплачивали жилье. Таким образом, решение сводится к судье качели, который в случае Алисы отвергает кредит, потому что у нее нет машины.

Мы можем сделать это рассуждение точно, используя теория кооперативной игры, система анализа более конкретно того, как разные факторы способствуют достижению единственного результата. В частности, мы комбинируем наши измерения относительного причинного влияния с Значение Шепли, что является способом расчета влияния атрибута на несколько факторов. Вместе они формируют наше количественное измерение входного влияния.

До сих пор мы оценивали наши методы в системах принятия решений, которые мы создали, обучая общие алгоритмы машинного обучения с наборами данных реального мира. Оценка алгоритмов на работе в реальном мире - это тема для будущей работы.

Открытый вызов

Наш метод анализа и объяснения того, как алгоритмы принимают решения, наиболее полезен в условиях, когда факторы легко понятны людям - например, отношение долга к доходам и другие финансовые критерии.

Однако объяснение процесса принятия решений более сложными алгоритмами остается серьезной проблемой. Возьмем, например, систему распознавания образов, например, выявлять и отслеживать опухоли, Не очень полезно объяснять оценку конкретного изображения на основе отдельных пикселей. В идеальном случае нам хотелось бы получить объяснение, которое даст дополнительное представление о решении - например, определение конкретных характеристик опухоли в изображении. Действительно, разработка объяснений для таких автоматизированных задач принятия решений позволяет многим исследователям занятый.

Об авторе

Анупам Датта, доцент компьютерных наук и электротехники и вычислительной техники, Университет Карнеги-Меллона

Эта статья изначально была опубликована в Беседа, Прочтите оригинал статьи.

Книги по этой теме

at Внутренний рынок самовыражения и Amazon