Что такое видеоролики Deepfake и их обнаружение в мгновение ока

Что такое видеоролики Deepfake и их обнаружение?

Новая форма дезинформации готова распространиться через интернет-сообщества, поскольку прогрессивные избирательные кампании 2018 нагреваются. Называется «глубокими глазами» после псевдонимный онлайн-аккаунт, который популяризировал технику - который, возможно, выбрал свое название, потому что в процессе используется технический метод «глубокое обучение» - эти поддельные видео выглядят очень реалистично.

До сих пор люди использовали глубокие видеоролики в порнография и сатира чтобы показать, что известные люди делают то, что обычно не будет.

Но это почти наверняка глубокие фоны появятся в течение сезона кампании, чтобы изобразить кандидатов говорить вещи или местами, где настоящий кандидат не будет.

Это Барак Обама - или нет?

Поскольку эти методы настолько новы, у людей возникают проблемы с разницей между реальными видео и глубокими видео. Моя работа, с моим коллегой Мин-Цзин Чангом и нашим доктором философии. студент Юэзун Ли, нашел способ надежно рассказывать реальные видеоролики из видеороликов, Это не постоянное решение, потому что технология улучшится. Но это начало и дает надежду, что компьютеры смогут помочь людям говорить правду из художественной литературы.

Что такое «глубокий фокус»?

Создание глубокого видео очень похоже на перевод между языками. Услуги, подобные Google Переводчик использование машинного обучения - компьютерный анализ десятков тысяч текстов на нескольких языках - до обнаруживать шаблоны использования слов которые они используют для создания перевода.


Получите последние новости от InnerSelf


Алгоритмы Deepfake работают одинаково: они используют систему машинного обучения, называемую глубокая нейронная сеть для изучения лицевых движений одного человека. Затем они синтезируют изображения лица другого человека, делающего аналогичные движения. Делать так эффективно создает видео человека, который хочет сделать или сказать то, что сделал источник.

Как делают глубокие видеоролики.

Прежде чем они смогут нормально работать, глубокие нейронные сети нуждаются во множестве исходной информации, такой как фотографии лиц, являющихся источником или целью олицетворения. Чем больше изображений используется для обучения алгоритму глубокой идентификации, тем реалистичным будет цифровое олицетворение.

Обнаружение мигания

Есть еще недостатки в этом новом типе алгоритма. Один из них связан с тем, как имитируемые лица мигают - или нет. Здоровые взрослые люди мигают где-то между 2 и 10 секундами, и один миг от одной десятой до четырех десятых секунды, Это то, что было бы нормально видеть в видео человека, говорящего. Но это не то, что происходит во многих глубоких видео.

Во время разговора мигает реальный человек.

Моделируемое лицо не моргает, как это делает настоящий человек.

Когда алгоритм глубокой идентификации обучается изображениям лица человека, это зависит от фотографий, которые доступны в Интернете, которые могут использоваться в качестве данных обучения. Даже для людей, которые часто фотографируются, несколько изображений доступны онлайн, показывая, что их глаза закрыты. Такие фотографии редко встречаются не только потому, что глаза людей открыты большую часть времени, но фотографы обычно не публикуют изображения, где глаза главных субъектов закрыты.

Без обучения изображениям людей, мигающих, алгоритмы с глубоким фокусом реже создают лица, которые нормально мигают. Когда мы вычисляем общую скорость мигания и сравниваем это с естественным диапазоном, мы обнаружили, что персонажи в файлах с глубоким фоном мигают намного реже по сравнению с реальными людьми. В нашем исследовании используется машинное обучение для осмотреть глаза и закрыть видео.

Это дает нам вдохновение для обнаружения глубоких видео. Впоследствии мы разработаем метод обнаружения, когда человек в видео мигает. Чтобы быть более конкретным, он сканирует каждый кадр рассматриваемого видео, обнаруживает лица в нем, а затем автоматически находит глаза. Затем он использует другую глубокую нейронную сеть, чтобы определить, открыт или закрыт обнаруженный глаз, используя внешний вид глаза, геометрические особенности и движение.

Мы знаем, что наша работа использует недостаток в данных, доступных для обучения алгоритмам глубокой поимки. Чтобы не оказаться жертвой подобной ошибки, мы подготовили нашу систему на большой библиотеке изображений как открытых, так и закрытых глаз. Этот метод, похоже, работает хорошо, и в результате мы достигли уровня обнаружения 95 процентов.

Конечно, это не последнее слово для определения глубинных образов. Эта технология быстро, а конкуренция между генерированием и обнаружением поддельных видео аналогична шахматной игре. В частности, мигание может быть добавлено к глубоким фотографиям, включая изображения лиц с закрытыми глазами или использование видеопоследовательностей для обучения. Люди, которые хотят запутать публику, будут лучше делать ложные видеоролики, - и мы и другие разработчики технологий должны будем продолжать находить способы их обнаружения.Беседа

Об авторе

Siwei Lyu, доцент компьютерных наук; Директор, Computer Vision и Machine Learning Lab, Университет в Олбани, Государственный университет Нью-Йорка

Эта статья изначально была опубликована в Беседа, Прочтите оригинал статьи.

Книги по этой теме

{amazonWS: searchindex = Книги; ключевые слова = Deepfake Videos; maxresults = 3}

enafarZH-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

Следуйте за InnerSelf

facebook-значокTwitter-значокНовости-значок

Получить последнее по электронной почте

{Emailcloak = выкл}

ВНУТРЕННИЕ ГОЛОСЫ

Восемь мыслящих ловушек и предубеждений для защиты от
Восемь мыслящих ловушек и предубеждений для защиты от
by Доктор Пол Napper, Psy.D. и доктор Энтони Рао, доктор философии

САМОЕ ЧИТАЕМОЕ

ОТ РЕДАКТОРОВ

День расплаты настал для Республиканской партии
by Роберт Дженнингс, InnerSelf.com
Республиканская партия больше не является проамериканской политической партией. Это нелегитимная псевдополитическая партия, полная радикалов и реакционеров, чья заявленная цель - сорвать, дестабилизировать и ...
Почему Дональд Трамп может быть самым большим неудачником в истории
by Роберт Дженнингс, InnerSelf.com
Обновлено 2 июля 20020 г. - Вся эта пандемия коронавируса стоит целое состояние, может быть, 2, 3 или 4 состояния, неизвестного размера. Ах да, и сотни тысяч, а может и миллионов людей умрут ...
Голубые глаза против коричневых глаз: как учат расизму
by Мари Т. Рассел, Внутренний
В этом эпизоде ​​Oprah Show 1992 года отмеченная наградами активистка и пропагандист антирасизма Джейн Эллиотт преподала аудитории сложный урок о расизме, демонстрируя, насколько легко выучить предрассудки.
Изменения придут ...
by Мари Т. Рассел, Внутренний
(30 мая 2020 г.) Когда я смотрю новости о событиях в Филадельфии и других городах страны, мое сердце болит от того, что происходит. Я знаю, что это часть больших перемен, которые происходят ...
Песня может поднять сердце и душу
by Мари Т. Рассел, Внутренний
У меня есть несколько способов, с помощью которых я могу избавиться от темноты, когда обнаружу, что она закралась. Один из них - садоводство или времяпровождение на природе. Другое молчание. Еще один способ чтения. И тот, который ...