Редакция журнала  в новостной ленте уделяет внимание событиям из мира IT, которые могли бы получить резонанс и в философской среде.  Сегодня опять встает  вопрос о ксенофобии, расизме и неполиткорректности,  возникающих в текстах, сгенерированных  системами обработки естественного языка.

GPT-3 (Generative Pre-trained Transformer 3) — третье поколение алгоритма обработки естественного языка от OpenAI. Это одна из самых крупных и продвинутых языковых моделей в мире.

Модель, по заявлению разработчиков, может быть использована для решения «любых задач на английском языке».

Однако система легко усваивает и потом активно воспроизводит шовинистские взгляды, которые содержатся в языковом массиве данных из глобальной сети.

Разработчики из OpenAI опасаются, что GPT-3 может быть использована для спама, домогательств, радикализации, и дезинформации. Год назад  университет Миддлбери-колледж опубликовал отчёт о рисках радикализации, связанных с появлением продвинутых языковых моделей. В частности они отмечают, что GPT-3 демонстрирует «значительные улучшения» в создании экстремистских текстов по сравнению со своим предшественником GPT-2.

Модели типа GPT-1/2/3, на самом деле, решают ровно одну задачу — они пытаются предсказать следующий токен (обычно слово или его часть) в последовательности по предшествующим. Такой подход позволяет использовать для обучения «неразмеченные» данные, то есть обойтись без привлечения «учителя» и позволяет решать довольно широкий спектр задач из области NLP.  Собственно, с машиной происходит то же самое, что с ребенком-беспризорником. Она усваивает ненормативное  речевое поведение "улицы" (сети)

Ниже приводим скрин с  забавным неэкстремистским текстом о несуществующих существах.  Своя логика в этом тексте присутствует. 

 

 

Подробнее см.