«Я знаю все эти слова, но это предложение не имеет для меня никакого смысла».
― Мэтт Гроунинг

Предисловие

Цель написания этой статьи — привить культуру исследования вам, вашей организации и вашему сообществу. Настоятельно рекомендуется, чтобы вы все же прочитали настоящую бумагу после прочтения этого обзора.

Почему понимание естественного языка?

Мы часто воспринимаем как должное все удивительные исследования и технологические достижения, направленные на создание продуктов, которые мы используем каждый день. Каждый сложный поисковый запрос, каждая, казалось бы, естественная беседа с чат-ботом и каждый релевантный ответ квора, сгруппированные вместе, чтобы сделать вашу жизнь намного проще, — результат многолетних передовых исследований в области понимания естественного языка. NLU — это то, что позволяет машинам понимать контекстуальное значение предложений естественного языка.

Введение

Baidu Research недавно анонсировала ERNIE 2.0 (расширенное представление через интеграцию знаний), свою совершенно новую модель понимания естественного языка, которая превзошла новейшие BERT от Google и новую XLnet в 16 задачах НЛП. Неконтролируемые модели NLU, такие как Google BERT, XLnet и ERNIE 1.0, предварительно обучаются на большом корпусе текстов для таких задач, как ответы на вопросы, анализ настроений, распознавание именованных сущностей, семантическое сходство и вывод естественного языка. Обучение таким простым задачам позволяет модели изучать совпадения слов или предложений. ERNIE 2.0 от Baidu Research — это импровизированный подход к решению NLU, который использует другую ценную лексическую, синтаксическую и семантическую информацию в обучающих корпусах, а не только совпадения. ERNIE 2.0 постепенно вводит настраиваемые задачи в процесс обучения, что позволяет модели учиться на разнообразном наборе задач. Вместо того, чтобы сфокусироваться на оптимизации модели для конкретной метрики, ERNIE 2.0 следует непрерывному конвейеру предварительного обучения для нескольких задач (многозадачное обучение).

Вдохновленный людьми

Представьте себе ребенка, который впервые учится читать. Сначала она изучает алфавиты — как их писать, как визуально выделять и идентифицировать. Затем он учится определять слова в целом, понимать отношения между словами и понимать предложения. Каждый этап этого процесса обучения облегчается тем, что она узнала ранее. Хотя суммирование такого сложного процесса, как понимание языка, в несколько шагов, не оправдывает множество лет эволюции, через которые мы прошли, прежде чем прийти к этому. Я хочу сказать, что эта модель постоянного обучения очень распространена среди нас, людей.

ERNIE 2.0 следует аналогичному непрерывному процессу обучения, в котором модель последовательно обучается множеству задач, так что знания, полученные в одной задаче, запоминаются при обучении следующей задаче. Это помогает той же модели хорошо справляться с новыми задачами, используя «приобретенные знания» в ходе предыдущего обучения.

Это непрерывное обучение выполняется в два этапа: построение новой учебной задачи без учителя на основе больших данных и предшествующих знаний и обучение модели построенной задаче с помощью многозадачного обучения.

Задания перед тренировкой

Этот подход строит 3 типа задач для захвата различных аспектов информации:

  1. Word-aware Задачи: зафиксировать лексическую информацию
  2. Задачи с учетом структуры: сбор синтаксической информации.
  3. Семантические задачи: сбор семантической информации

В то время как последние две задачи имеют сходную структуру и, следовательно, аналогичные результаты с другими моделями — BERT и XLNet, маскирование слов и фраз ERNIE дает заметно лучшие результаты. ERNIE 1.0 представил новую и улучшенную стратегию для задач маскировки знаний. Эти задачи включают маскировку именованных объектов и контекстуально важных фраз. Модель пытается предсказать всю замаскированную фразу. Это помогает модели изучить информацию о зависимости как в локальном, так и в глобальном контексте.

ENRIE 2.0 выполняет еще много интересных предварительных задач, особенно задачу релевантности IR, которая помогает модели изучить релевантность документа для данного короткого текстового запроса (может использоваться для создания мощных семантических поисковых систем). Скоро я подробно напишу о некоторых из этих предтренировочных заданий. Быть в курсе!

Вывод

Интернет хранит тысячи петабайт неструктурированных данных, большая часть которых — текст. Понимание естественного языка уже оказало значительное влияние и по-прежнему обладает беспрецедентным потенциалом в таких вещах, как сбор осмысленной информации, предложение естественного опыта с помощью чат-ботов следующего поколения и помощь в выполнении контекстных запросов к огромным объемам данных. Сегодняшние системы NLU далеко не так точны, как люди, и терпят неудачу в сценариях, требующих проявления здравого смысла. Это захватывающее время, чтобы жить и быть частью всех удивительных успехов в исследованиях, направленных на то, чтобы сделать этот мир (и за его пределами) лучшим местом для жизни каждого.