На каком языке “мыслят” большие языковые модели

В недавней статье, сравнивающей полное дообучение и параметр-эффективное дообучение, говорится, что LoRA также служит естественной техникой регуляризации против катастрофического забывания во время полного дообучения [17]. https://able2know.org/user/serp-insights/ https://list.ly/lyneth_cucb985701 В моих экспериментах LoRA дает лучшие результаты на моделях с как минимум 7B параметрами, в то время как мои попытки дообучить модель GPT-2 с 1.5B и 774M не дали достойных результатов. Самое свежее исследование применения LoRA решает проблему дообучения больших языковых моделей Mixture-of-Experts (MoE), дополняя отдельную подстройку маршрутизационной части архитектуры MoE [18]. Новое исследование EPFL проливает свет на внутренние механизмы обработки многоязычных данных в LLM, что критично для понимания принципов работы современных языковых моделей и их оптимизации. Исследователи применили метод Logit lens для анализа скрытых состояний в слоях моделей семейства Llama-2, чтобы понять, как происходит обработка инференса на разных языках. Code Interpreter, в свою очередь, позволяет запускать код Python прямо в интерфейсе чат-бота, с возможностью его использования для выполнения логических вычислений, а также для написания кода.

Языковые модели

Например, сейчас можно проследить, как меняются числовые данные (например, стоимость акций на бирже) и сделать прогноз на будущее с помощью тех же нейросетей. Разрабатывать языковые модели стало проще, когда в в 2017 году исследователи из  Google Brain представили такую архитектуру, как трансформер. C 2019 https://ai.alberta.ca года она используется в большинстве методов для обработки естественного языка — потому что позволяет использовать меньшие вычислительные мощности для решения сложных задач. Как только это сделано, в словарь добавляются все символы из текста, ищутся самые частые их сочетания и снова добавляются. Этот процесс продолжается до тех пор, пока число токенов не станет равно заданному значению. Его принято аппроксимировать на основе корпуса текстов (например, всего интернета) — в этом случае считаются совстречаемости слов друг с другом, и по ним считаются вероятности. Языковые модели также широко применяются в переводе текстов, особенно когда требуется автоматический перевод с одного языка на другой. Модели поддерживают многоязычные системы, помогая пользователям общаться с людьми из разных стран. Главная задача языковой модели — «понимать» текст по закономерностям в данных и генерировать осмысленный ответ. Например, для классификации или NER (Named Entity Recognition) — распознавания сущностей в тексте. На самом деле мы хотим, чтобы каждое измерение измеряло непрерывное свойство состояния, а также чтобы непрерывные переменные вместе достаточно отличали[2] это состояние от других, с которыми мы хотели бы его сравнить.

Метод 1: Простая генерация полного набора данных с помощью LLM

При этом приёме не тратятся ресурсы на обучение модели, она лишь смотрит на контекст и генерирует продолжение. Однако для применения таких решений остаётся проблема со стоимостью их обучения. Для обучения GPT-2 авторы использовали 16 GPU (иначе говоря — графических процессоров, видеокарт), а для GPT-3 уже 3200. Для дообучения модели под определенную задачу, конечно, понадобится меньше ресурсов, но всё равно достаточно много. Идея модели лежит на поверхности, много где применяется в самых разных вариациях даже в ХХ веке, поэтому сложно назвать авторов или точную дату создания. https://www.moviles.org/author/rank-pulse/ Вместе с дата-сайентистом и биоинформатиком Марией Дьяковой подготовили подробный гайд о том, как устроены самые популярные языковые модели и что нужно знать, чтобы начать с ними работать. Задаём модели роль эксперта по демографии Калифорнии, который оценивает вероятности этнических групп в зависимости от возрастной группы. Полученные данные выглядят немного лучше, чем в первом случае, но все же дают неправильное распределение. [5] То, как я использую слово «состояние», может относиться ко всему состоянию или к его компоненту.

Направляйте процесс работы

Этот подход основан на нейросетях, которые, благодаря многослойной структуре, способны выявлять сложные взаимосвязи между входными характеристиками и целевыми результатами. Позиционная языковая модель[17] оценивает вероятность того, что данные слова встречаются в тексте близко друг к другу, не обязательно непосредственно рядом. Как правило, вероятности n-граммной модели не выводятся непосредственно из подсчёта частот, потому что модели, полученные таким образом, имеют серьёзные проблемы при столкновении с любыми n-граммами, которые ранее явно не наблюдались. Вместо этого необходима некоторая форма сглаживания, приписывающая часть общей вероятностной массы невидимым словам или n-граммам. Используются различные методы, от простого сглаживания «добавь один» (присваивание числа 1 невидимым n-граммам в качестве неинформативного априорного) до более сложных моделей, таких как модели Гуда — Тьюринга[англ.] или Катца[англ.].

Данный раздел представляет собой практическое руководство по настройке входных параметров модели. Сначала рассмотрим строгие правила, которые помогут определить, какие параметры следует установить на ноль. Затем мы дадим несколько советов, которые помогут вам настроить параметры с ненулевыми значениями. Эти наблюдения подтверждают, что процесс не является простым последовательным переводом, а представляет собой сложную трансформацию информации через промежуточное концептуальное представление. Чем дальше вы продвигаетесь в направлении «музыкант», тем больше вероятность того, что слово относится к музыканту.