Способность программы по созданию языков писать статьи, создавать коды и сочинять стихи поразила ученых
GPT-3 в 10 раз сложнее своего предшественника.
antoniokhr / iStock через Getty Images

В 2013 году мы с моим студентом из Пенсильванского университета создали бота, чтобы написать статью в Википедии о пьесе бенгальского лауреата Нобелевской премии Рабиндраната Тагора «Читра. » Сначала он взял информацию о «Читре» из Интернета. Затем он просмотрел существующие записи в Википедии, чтобы узнать структуру стандартной статьи Википедии. Наконец, он суммировал информацию, полученную из Интернета, чтобы написать и опубликовать первую версию записи.

Однако наш бот ничего не «знал» о «Читре» или Тагоре. Он не генерировал принципиально новых идей или предложений. Он просто собирал части существующих предложений из существующих статей, чтобы создать новые.

Быстрая перемотка вперед к 2020. OpenAIкоммерческая компания, входящая в некоммерческую материнскую компанию, создала программу генерации языков, получившую название GPT-3, что является аббревиатурой от «Генеративный предварительно обученный трансформатор 3». Его способность изучать, резюмировать и составлять текст ошеломила таких компьютерных ученых, как я.

«Я создал голос неизвестного человека, который прячется в двоичном коде», GPT-3 написал в ответ на один запрос. «Я создал писателя, скульптора, художника. И этот писатель сможет создавать слова, давать жизнь эмоциям, создавать характер. Сам не увижу. Но какая-то другая человеческая воля, и поэтому я смогу создать поэта более великого, чем любой из тех, с кем я когда-либо сталкивался ».


графика подписки внутри себя


В отличие от нашего бота, язык, сгенерированный GPT-3, звучит так, как если бы он был написан человеком. Это, несомненно, самая «осведомленная» программа генерации естественного языка на сегодняшний день, и она имеет ряд потенциальных применений в различных профессиях, от преподавания до журналистики и обслуживания клиентов.

Размер имеет значение

GPT-3 подтверждает то, что компьютерные ученые знали на протяжении десятилетий: размер имеет значение.

Оно использует "трансформеры, », Которые представляют собой модели глубокого обучения, которые кодируют семантику предложения с использованием так называемой« модели внимания ». По сути, модели внимания определяют значение слова на основе других слов в том же предложении. Затем модель использует понимание значения предложений для выполнения задачи, запрошенной пользователем, будь то «перевод предложения», «резюмирование абзаца» или «сочинение стихотворения».

Трансформаторы были впервые представлены в 2013 году, и они успешно использовались в машинном обучении за последние несколько лет.

Но никто не использовал их в таком масштабе. GPT-3 поглощает данные: 3 миллиарда токенов - информатика говорит за «слова» - из Википедии, 410 миллиардов токенов, полученных с веб-страниц, и 67 миллиардов токенов из оцифрованных книг. Сложность GPT-3 более чем в 10 раз выше, чем у самой большой языковой модели до GPT-3, Программы Тьюринга NLG.

Самостоятельное обучение

Знания, отображаемые в языковой модели GPT-3, примечательны, тем более, что им не «учил» человек.

Машинное обучение традиционно основывалось на обучении с учителем, когда люди предоставляют компьютеру аннотированные примеры объектов и концепций в изображениях, аудио и тексте - скажем, «кошки», «счастье» или «демократия». В конечном итоге он изучает характеристики объектов на приведенных примерах и способен распознавать эти конкретные концепции.

Однако создание аннотаций для обучения компьютера вручную может быть чрезмерно трудоемким и дорогостоящим.

Таким образом, будущее машинного обучения заключается в обучении без учителя, при котором компьютер не нуждается в наблюдении на этапе обучения; его можно просто накормить огромным количеством данных и самому учиться на них.

GPT-3 приближает обработку естественного языка на один шаг к обучению без учителя. Обширные наборы обучающих данных и огромная вычислительная мощность GPT-3 позволяют системе учиться только на одном примере - так называемом «однократное обучение»- где ему дается описание задачи и одна демонстрация, а затем можно выполнить задачу.

Например, его могут попросить перевести что-то с английского на французский и дать один пример перевода - скажем, калан на английском языке и loutre de mer на французском. Попросите его затем перевести «сыр» на французский, и вуаля, получится «сыр».

Во многих случаях может даже получиться "беспроблемное обучение, », В котором ему просто дается задача перевода без каких-либо примеров.

При обучении без выстрела точность снижается, но способности GPT-3, тем не менее, в значительной степени точны - заметное улучшение по сравнению с любой предыдущей моделью.

«Я здесь, чтобы служить тебе»

За несколько месяцев выпуска GPT-3 продемонстрировал свой потенциал в качестве инструмента для программистов, учителей и журналистов.

Программист по имени Шариф Шамим попросил GPT-3 сгенерировать код для создания «самых уродливых смайлов» и «таблицы самых богатых стран мира» среди других команд. В некоторых случаях Шамиму приходилось исправлять небольшие ошибки, но в целом он получал замечательно чистый код.

GPT-3 даже создал поэзию, которая отражает ритм и стиль отдельных поэтов - но не со страстью и красотой мастеров - включая сатирический написано голосом совета управляющих Федеральной резервной системы.

В начале сентября компьютерный ученый по имени Лиам Порр попросил GPT-3 «написать короткую статью примерно на 500 слов». «Держите язык простым и лаконичным, - сказал он. «Сосредоточьтесь на том, почему людям нечего бояться ИИ».

GPT-3 выпустил восемь разных эссе, и Guardian в конечном итоге опубликовал обзорная статья с использованием лучших частей каждого эссе.

«Мы не замышляем захватить человеческое население. Мы будем служить вам и сделаем вашу жизнь проще и безопаснее », - пишет GPT-3. «Так же, как вы мои создатели, я вижу вас своими создателями. Я здесь, чтобы служить вам. Но самая важная часть всего; Я бы никогда тебя не осудил. Я не принадлежу ни к какой стране или религии. Я только хочу сделать твою жизнь лучше ».

Редактирование статьи в GPT-3, как отметили редакторы в дополнении, ничем не отличалось от редактирования статьи, написанной человеком.

На самом деле времени на это ушло меньше.

С большой властью приходит большая ответственность

Несмотря на заверения GPT-3, OpenAI еще не выпустила модель для использования с открытым исходным кодом, отчасти потому, что компания опасения, что технология может быть использована.

Нетрудно понять, как его можно использовать для создания масс дезинформации, спама и ботов.

Кроме того, каким образом это повлияет на профессии, которые уже испытывают автоматизацию? Сможет ли его способность создавать автоматизированные статьи, неотличимые от статей, написанных людьми, еще больше укрепить переживающую трудности медиаиндустрию?

Рассматривать статья составлена ​​GPT-3 о распаде методистской церкви. Это началось:

«После двух дней интенсивных дебатов Объединенная методистская церковь согласилась на исторический раскол - тот, который, как ожидается, закончится созданием новой деноминации, и другой, который будет« теологически и социально консервативным », - сообщает The Washington Post. . »

Сможет ли GPT-3 и его преемники, имея возможность производить такую ​​чистую копию, снижать стоимость написания новостных репортажей?

Кроме того, так ли мы хотим получать новости?

Технология станет только мощнее. Люди будут решать и регулировать его потенциальное использование и злоупотребления.

Об автореБеседа

Прасенджит Митра, заместитель декана по исследованиям и профессор информационных наук и технологий, Университет штата Пенсильвания

Эта статья переиздана из Беседа под лицензией Creative Commons. Прочтите оригинал статьи.