Исследование нейросетевых архитектур с памятью тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Булатов Айдар Салаватович
Булатов Айдар Салаватович
кандидат наук
2025
- Специальность ВАК РФ00.00.00
- Количество страниц 159
Оглавление диссертации кандидат наук Булатов Айдар Салаватович
Введение
Глава 1. Механизмы памяти в нейросетевых архитектурах
1.1 Функции памяти в нейронных сетях
1.1.1 Связанные обзорные работы
1.2 Ранние подходы к моделированию памяти
1.2.1 Ассоциативная память
1.2.2 Память в весах модели
1.2.3 Модели с быстрыми весами
1.3 Память в архитектурах для обработки последовательностей
1.3.1 Рекуррентные нейронные сети
1.3.2 Сети с долгой краткосрочной памятью
1.3.3 Архитектуры с механизмом внимания
1.3.4 Память в архитектуре Трансформер
1.3.5 Альтернативный взгляд на память в Трансформере
1.3.6 Неявная память в полносвязных слоях
1.3.7 Трансформеры с дополнительной памятью
1.3.8 Рекуррентность на уровне сегментов
1.3.9 Трансформеры с дополнительным механизмом поиска информации
1.4 Модели с линейным механизмом внимания: рекуррентный вид
1.4.1 Модели со скрытым состоянием
1.4.2 Единое представление моделей с линейным механизмом внимания
1.4.3 Унифицированное представление для линейных моделей
1.5 Различия между Трансформерами и ИКК с точки зрения
работы с памятью
1.5.1 Потенциальная выразительность нейросетевых архитектур
1.6 Классификация механизмов памяти в нейросетевых архитектурах
Глава 2. Рекуррентный Трансформер с памятью
Стр.
2.1 Рекуррентный Трансформер с памятью
2.2 Эксперименты на задачах, требующих использования памяти
2.2.1 Алгоритмические задачи
2.2.2 Детали постановки экспериментов
2.2.3 Моделирование и обработка естественного языка
2.2.4 Детали постановки экспериментов
2.3 Обсуждение и интерпретация результатов экспериментов
2.4 Операции с памятью
2.5 Выводы
Глава 3. Аугментация предобученных моделей с помощью ИЫХ
3.1 Применение ЯМТ к Трансформерам-кодировщикам
3.1.1 Задачи на поиск ответа по одному или нескольким фактам
3.1.2 Генерация задач на поиск ответа по фактам
3.1.3 Обобщение на большие длины задач
3.2 Применение ЯМТ к Трансформерам-декодировщикам
3.2.1 Языковое моделирование
3.2.2 Доказательство теорем
3.3 Влияние обучения с расписанием
3.4 Эффективность использования ресурсов рекуррентными моделями 81 3.4.1 Использование методов эффективного по параметрам
обучения
Глава 4. Оценка языковых моделей на больших контекстах
4.1 Использование большого контекста в языковых моделях
4.1.1 Обзор исследований в области бенчмарков с длинным контекстом
4.1.2 Релевантные работы по методам обработки длинных контекстов
4.2 БЛБ1Ьоп§ - бенчмарк для оценки языковых моделей с большим
контекстом
4.2.1 Детали датасета БЛБ1Ьоп§
4.3 Валидация моделей на БЛБ1Ьоп§
4.3.1 Дообучение рекуррентных моделей
Стр.
4.3.2 Анализ Recurrent Memory Transformer
4.3.3 Результаты рекуррентных моделей на BABILong
4.3.4 Валидация современных Трансформеров
4.3.5 Детальные результаты оценки на BABILong QA1-QA5
4.3.6 Использование RAG не помогает решить BABILong
4.3.7 Результаты дообучения LLM на BABILong
4.4 Выводы
4.4.1 Ограничения BABILong и потенциальные решения
4.4.2 Доступность данных и воспроизводимость экспериментов
Глава 5. Исследование многозадачного обучения
5.1 Многозадачное обучение и тестирование
5.1.1 Формат входных данных
5.1.2 Постановка экспериментов
5.2 Анализ способности к обобщению
5.2.1 Влияние размера обучающей выборки
5.2.2 Влияние обучения на BABILong на другие задачи
5.2.3 Обобщение на задачи с большей длиной
5.3 Исследование устойчивости
5.4 Обсуждение и выводы
Заключение
Список сокращений и условных обозначений
Словарь терминов
Список литературы
Список рисунков
Список таблиц
Приложение А. Пример задачи BABILong QA1
Приложение Б. Дополнительные результаты к Главе
Рекомендованный список диссертаций по специальности «Другие cпециальности», 00.00.00 шифр ВАК
Нейросетевые модели на основе механизма внимания с памятью для решения задач обработки естественного языка2024 год, кандидат наук Сагирова Алсу Рафаэлевна
Многозадачный перенос знаний для диалоговых задач2023 год, кандидат наук Карпов Дмитрий Александрович
Обучение и оценивание мультиязычных нейросетевых моделей семантического векторного представления научных текстов2025 год, кандидат наук Ватолин Алексей Сергеевич
Исследование рабочей памяти и механизмов быстрой адаптации в обучении с подкреплением2022 год, кандидат наук Сорокин Артём Юрьевич
Специализация языковых моделей для применения к задачам обработки естественного языка2020 год, кандидат наук Куратов Юрий Михайлович
Введение диссертации (часть автореферата) на тему «Исследование нейросетевых архитектур с памятью»
Введение
Данная диссертация посвящена методам расширения нейросетевых архитектур за счет добавления дополнительной памяти, в частности применению механизмов памяти для решения задач с большим контекстом.
Модели, основанные на архитектуре Трансформер [1], получили широкое распространение в области обработки естественного языка и демонстрируют высокую эффективность при решении различных прикладных задач. Механизм внимания, лежащий в основе Трансформеров, позволяет эффективно агрегировать информацию из последовательности для получения контекстно-зависимых представлений. Однако применение Трансформеров к длинным текстам ограничено ограничено квадратичным ростом числа операций с увеличением длины последовательности. Кроме того, исследования показывают, что Трансформеры сталкиваются с ограничениями в задачах с большим контекстом [2; 3] и недостатками промежуточных скрытых представлений, в которых смешивается локальная и глобальная информация о последовательности [4].
Для снижения вычислительных затрат при обработке длинных последовательностей предлагаются модификации архитектуры Трансформер [5—8]. Также разрабатываются архитектуры с фокусом на механизм памяти [4] и другими модификациями [9], направленными на повышение эффективности Трансформеров в сложных задачах. Для задач, требующих интенсивного использования специфичных знаний, предлагаются архитектуры с механизмом поиска по структурированным [10] и неструктурированным [11] источникам данных.
Проблема настоящего исследования состоит в поиске новых методов преодоления фундаментальных ограничений и снижении объема вычислительных ресурсов при масштабировании архитектуры Трансформер на задачи с большим контекстом.
Целью данной работы является исследование подходов к использованию памяти в нейросетевых архитектурах и разработка модификаций Трансформера с механизмом памяти для повышения качества решения задач с большим контекстом.
Для достижения поставленной цели необходимо было решить следующие задачи:
1. Предложить модификацию архитектуры Трансформер для работы с длинными последовательностями.
2. Разработать метод обучения предложенной архитектуры, в том числе с использованием предварительно обученных трансформерных моделей.
3. Составить набор данных для оценки языковых моделей на задачах с большим контекстом и провести валидацию современных моделей.
4. Разработать программный код для имплементации, обучения и валидации разработанных архитектур с памятью.
5. Провести анализ эффективности полученных моделей на задачах моделирования языка и вопросно-ответных задачах на длинных последовательностях.
6. Опубликовать в открытом доступе программный комплекс для воспроизведения экспериментов, наборы данных и веса обученных моделей.
Научная новизна:
1. Было разработано унифицированное формальное описание для нейросетевых архитектур с фокусом на использование памяти.
2. Была предложена оригинальная архитектура рекуррентного Трансформера с памятью для обработки задач с большим контекстом.
3. Для предложенной архитектуры был разработан и впервые применен метод обучения с расписанием для повышения способности к обобщению на большие длины задач.
4. Разработанной нейросетевой моделью была достигнута длина корректно решенной задачи в 2 миллиона токенов, что являлось абсолютным рекордом на момент публикации [12].
5. Был разработан оригинальный бенчмарк для оценки языковых моделей на задачах с большим контекстом.
Теоретическая значимость диссертационной работы заключается в следующих положениях:
1. Разработано унифицированное математическое и графическое представление нейросетевых архитектур с акцентом на использование памяти.
2. Предложена архитектура рекуррентного Трансформера с памятью для обработки больших контекстов.
3. Предложен метод обучения с расписанием для повышения обобщающей способности модели к другим длинам последовательностей.
К практической значимости относятся следующие положения.
1. Предложенная архитектура позволяет увеличить длину контекста трансформерной модели при линейном росте вычислительных затрат на этапе обучения и константных затратах при последующем применении.
2. С помощью предложенного метода обучения достигнута способность к обобщению на задачах длиной от 104 до 107 токенов.
3. Установлено рекордное максимальное значение длины контекста для задачи, решённой нейросетевой моделью.
4. На основе проведённых экспериментов на разработанном бенчмарке выявлены ограничения современных больших языковых моделей при работе с длинными контекстами.
5. В открытый доступ выложены код для воспроизведения экспериментов, наборы данных и веса моделей, обученных в рамках данной работы.
Методология и методы исследования. В рамках диссертационной работы применялись методы теории вероятностей, нейронных сетей и машинного обучения. Для разработки архитектур нейросетевых моделей учитывались современные достижения в области машинного обучения и теории нейронных сетей. Обучение и валидация моделей проводились с использованием методов численного эксперимента и теории вероятностей. Кодовая база была разработана с применением принципов объектно-ориентированного программирования, языков Python и Bash, а также фреймворков PyTorch и Hugging Face Transformers.
Основные положения, выносимые на защиту:
1. Предложенная архитектура рекуррентного Трансформера с памятью (RMT) позволяет увеличить размер контекста базовой модели Трансформер при линейном росте вычислений.
2. Предложенный метод обучения RMT с расписанием повышает качество решения задач с большим контекстом.
3. При обучении с расписанием RMT демонстрирует способность к обобщению на новые задачи и задачи с контекстом, превышающим обучающий.
Достоверность полученных результатов подтверждается применением методики численных экспериментов, а также подробным описанием разработанных алгоритмов, что делает возможным воспроизведение всех проведенных экспериментов. Для обеспечения воспроизводимости код, параметры обученных моделей и использованные наборы данных размещены в открытом доступе: на GitHub, в каталогах Hugging Face. Полученные в ходе исследования результаты согласуются с исследованиями других авторов.
Апробация работы. Основные результаты работы данной диссертации докладывались на международных конференциях и семинарах:
— The Thirty-Sixth Annual Conference on Neural Information Processing Systems, November 28 - December 9 2022, New Orleans, USA
— The 38th Annual AAAI Conference on Artificial Intelligence, February 20-27, 2024, Vancouver, Canada
— The Forty-First International Conference on Machine Learning, Next Generation of Sequence Modeling Architectures Workshop, July 26, 2024, Vienna, Austria
— XXVI Международная научно-техническая конференция «Нейроинформатика-2024», 25 октября 2024, Москва, Россия
— The Thirty-Eighth Annual Conference on Neural Information Processing Systems, Datasets and Benchmarks Track, December 10-15, 2024, Vancouver, Canada
Модели и наборы данных, созданные в рамках работы над диссертацией, размещены в каталоге Hugging Face и активно используются пользователями. Например, по состоянию на 5 февраля 2025 года набор данных BABILong был загружен через каталог моделей Hugging Face 12433 раза с 6 января, а репозиторий с имплементацией модели RMT на GitHub имеет 760 звезд.
Публикации. Основные результаты по теме диссертации изложены в 5 печатных изданиях, 2 из которых изданы в периодических научных журналах, индексируемых Web of Science, 3 — в тезисах докладов, индексируемых в Scopus.
Личный вклад. В работах [13—15] автором диссертации был проведен полный набор экспериментов, в работе [16] автор провел эксперименты по моделированию естественного языка и решению синтетических задач и построил визуализации к соответствующим разделам. В [17] автор разработал и подготовил набор данных, обучил и оценил RMT и Mistral, участвовал в агрегировании и анализе результатов оценки, заполнил и поддерживает публичный лидерборд, написал первый черновик статьи. Во всех приведенных работах автор участвовал в обсуждении экспериментов и написании текста статей совместно с соавторами.
Объем и структура работы. Диссертация состоит из введения, 5 глав, заключения и 2 приложения. Полный объём диссертации составляет 159 страниц, включая 36 рисунков и 20 таблиц. Список литературы содержит 220 наименований.
Глава 1. Механизмы памяти в нейросетевых архитектурах
1.1 Функции памяти в нейронных сетях
Память выполняет ключевую функцию в процессах когнитивного восприятия, обучения и логического мышления. В рамках анализа алгоритмов искусственных нейросетей её можно представить как систему хранения данных с двумя основными функциями: Запись, обновляющая данные на основе поступающей извне информации, и Чтение, обеспечивающее доступ к сохранённой информации. В машинном обучении память играет важную роль, позволяя системам приобретать и сохранять навыки, которые необходимы для выполнения задач, на основе обучающей выборки.
Память в машинном обучении используется в различных формах. Некоторые механизмы специально разрабатываются для имитации функций памяти, другие же создаются с иными целями, но могут быть интерпретированы с точки зрения памяти. Ключевая задача памяти в алгоритмах машинного обучения — сохранять выученные во время обучения паттерны и навыки. Эту функцию можно сравнить с механизмом долгосрочной процедурной памяти, которая хранит навыки на протяжении длительного времени.
Память также естественно связана с понятием времени. Если задачи обладают временной структурой или требуют обработки последовательных данных, память становится естественным средством связи временных шагов между собой. Для работы с временными зависимостями применяются механизмы краткосрочной памяти, такие как рекуррентные сети или механизмы внимания. Механизмы долгосрочной памяти чаще всего основываются на явном хранении данных и структурированных операциях. Различные классы таких механизмов и их применение будут рассмотрены далее.
Ещё одна важная область, требующая интенсивного использования памяти, — это задачи, где решение состоит из нескольких последовательных шагов. Примеры включают рассуждение, решение математических задач и
другие логические процессы. В глубоком обучении такие задачи решаются с помощью моделей, где каждый слой выполняет отдельный этап вычисления. В этом контексте память используется для хранения промежуточных результатов или других временных данных, необходимых для выполнения задачи. Этот вид памяти называется Рабочей памятью и отличается тем, что её операции не зависят от внешних данных.
Интересным свойством памяти является её эксплицитность (явность) или имплицитность (неявность). Некоторые знания, такие как способность ходить или распознавать визуальные различия между кошкой и собакой, затруднительно выразить явно. Имплицитные данные обычно хранятся в сжатом виде, что исключает лишние детали для достижения большей общности, хотя это может сопровождаться потерей части информации. Явные знания, такие как «кошка — это животное» или конкретные факты, напротив, хранятся без потерь, но могут включать лишнюю информацию. Хранилище и операции с ним в данной работе называются явными, если они служат исключительно для механизма памяти, и неявными — если они также могут быть использованы для других задач.
Эффективность памяти определяется ёмкостью хранилища и качеством операций чтения и записи. Объём хранилища ограничивает количество сохраненной информации, а операции должны быть спроектированы так, чтобы использовать его максимально эффективно. Кроме того, они должны поддерживать такие функции, как фильтрация, забывание, выбор данных по содержимому или местонахождению, перезапись и другие операции. Эти аспекты будут рассмотрены подробнее в следующих разделах.
В данной главе рассматриваются основные нейросетевые архитектуры (Рисунок 1.1) и механизмы памяти, используемые в них. Механизмы памяти классифицируются по особенностям использования хранилища, чтения и записи данных. Опираясь на свойства таких операций, возможно построить нейросетевые архитектуры, оптимизированные для задач, требующих интенсивной работы с памятью, с фокусом на обработку естественного языка.
Fast Weights to Attend to Recent F
Ba et aL, 2018
Transformer
Vaawani at al., 2017
Memory Networks
Weston el aL, 2015
\ Transformer-XL
' Dai etaL, 2019
Linear Transformers ^
Guet aL,2022
J *
HiPPO
Ou etaL, 2020
, Memory Transformer _,
Bixtsev et al., 2020
Л
RWKV
Pang et aL, 2023
Bulatov et ol., 2022
Longformer
Baltagy et aL, 2020
BigBird
Zaheer at aL, 2020
Sliding Window Attention
G u and Dao, 2022
Universal Transformer
Dehghanl etaL, 2019
' ACT
Graves, 2017
MemGPT
Packer etaL, 2024
ARMT
RodJdn etaL, 2024
AutoCom pressor
f
ol, CoT
Let's think dot by dot Pause tokens
Hopfield Networks is AU You Need
Ramsauar at aL, 2021
Energy Transformer
Hoover at aL, 2023
Рисунок 1.1. Диаграмма развития основных нейросетевых архитектур с
памятью
1.1.1 Связанные обзорные работы
Концепция памяти оказала значительное влияние на формирование многих классических основ, которые легли в основу современных архитектур. Работы [18; 19] описывают принципы построения систем, основанных на параллельной распределенной обработке. Такие системы включают функции, аналогичные когнитивным способностям человека, например, восприятие и память. Работа [20] акцентирует внимание на особенностях задач с временными зависимостями и рассматривает нейросетевые архитектуры, такие как рекуррентные сети, популярность и применение которых значительно возросли благодаря этому исследованию.
Работа [21] представляет систематический анализ модификаций Трансформеров с точки зрения эффективности, уделяя внимание обработке длинных контекстов, оптимизации вычислений и улучшению работы с памятью. Для агентов обучения с подкреплением также разработана классификация типов памяти [22]. Исследование [23] сосредоточено на аналогиях между
механизмами задач машинного обучения, использующих память, и типами долгосрочной памяти человека. Обзор [24] также рассматривает ключевые архитектуры, дополненные памятью, но в контексте процессов, происходящих в мозге.
1.2 Ранние подходы к моделированию памяти
В данном разделе рассматриваются механизмы памяти в машинном обучении и нейронных сетях и выделяются их уникальные особенности по сравнению с традиционными системами памяти, в вычислительных устройствах. В отличие от обычной памяти, где применение операций заранее определено, модели машинного обучения должны обучаться взаимодействию с памятью в процессе обучения. Это создает дополнительные сложности, связанные с обучением таких операций и их обобщаемостью на другие наборы данных. Таким образом, механизм доступа должен быть способен динамически адаптироваться в зависимости от входных данных модели.
Существуют два основных подхода к организации доступа к памяти: адресация по местоположению и адресация по содержимому. В первом случае местоположение нужной информации известно заранее, и данные извлекаются из конкретного места. Данный подход используется в электронно-вычислительных машинах, где каждая ячейка памяти имеет адрес, и для чтения и записи обращение к памяти происходит по данному адресу. Однако этот подход не работает, если структура или содержимое памяти имплицитны, либо не существует отдельных локаций в памяти. В таких ситуациях становится необходимым использование адресации по содержимому.
1.2.1 Ассоциативная память
Одной из ключевых задач ранних исследований в области моделирования памяти было внедрение механизма адресации по содержимому. Этот метод
предполагает извлечение информации на основе ее связи с запросом, а не физического местоположения в памяти. Первые модели ассоциативной памяти хранили данные в виде паттернов активации нейронов, как показано в ранних работах [25]. Позднее эти концепции были улучшены через использование голографической памяти [26] и высокоуровневых ассоциативных структур [27].
В 1982 году Джон Хопфилд предложил общую модель ассоциативной памяти [28]. Его подход основывается на использовании матрицы весов W, которая формируется как сумма внешних произведений N бинарных паттернов {Рг}{=1, хг ^ {—1,1}^, а d — длина паттерна. Для извлечения ассоциаций по состоянию х, система итеративно обновляет х, умножая его на W, вычитая пороговый вектор Ь и применяя функцию взятия знака до достижения сходимости:
N
№ = РъРг , = - Ь). (1.1)
1=1
Этот процесс минимизирует некоторую энергетическую функцию, поэтому существуют теоретические гарантии сходимости к одному из паттернов либо другому локальному минимуму данной функции. Современные исследования стремятся увеличить ёмкость ассоциативной памяти, предлагая альтернативные энергетические функции [29; 30] и интегрировать эти модели в архитектуры для обработки последовательностей [31; 32].
1.2.2 Память в весах модели
Развитие методов градиентного спуска и обратного распространения ошибки [33—35] позволило обучать сложные универсальные архитектуры для различных задач. В этой парадигме веса нейронной сети служат имплицитной памятью, запоминая паттерны из обучающих данных. Эти веса корректируются итеративно через обновления градиента и используются для предсказаний на новых данных:
Wt+i = Wt - yVF(Wt, xt), Ot = f (xt, Wt).
(1.2)
Модель здесь задается функцией /, ее параметры или веса - W, у обозначает скорость обучения, а УГ — градиент функции потерь. Дополнительные улучшения, такие как стохастический и мини-батч градиентный спуск а также механизмы улучшения сходимости, повысили эффективность обучения моделей [36].
Однако использование весов в качестве единственной памяти имеет свои ограничения. Градиентные обновления требуют значительного числа итераций и четко определенной функции потерь. Получение новых знаний часто требует дополнительного обучения, которое ведет к изменениям весов модели. Кроме того, обучение на новых данных может приводить к полному стиранию ранее усвоенной информации, известному как катастрофическое забывание [37]. Это ограничение напрямую связано с имплицитным характером памяти в весах.
Для решения проблемы медленной записи в память путем постепенного обновления весов была предложена концепция быстрых весов. Эти веса обновляются чаще традиционных весов и не зависят напрямую от функции потерь. Опираясь на ранние применения [38; 39], в работе [40] быстрые веса рассматриваются как краткосрочная ассоциативная память для временного обучения и рекуррентной обработки.
Быстрые веса также интегрируются в различные архитектуры нейронных сетей для улучшения свойств запоминания. Например, в [41] быстрые веса используются как вспомогательный механизм памяти в рекуррентных нейронных сетях (Recurrent Neural Network, RNN):
1.2.3 Модели с быстрыми весами
at,bt = WaXt,WbXt, Wt = a(Wt-i + at < bt), ot = WiXt.
(1.3)
Быстрые веса и вычисляются на основе входа модели хг данных и выходов ИКК с нелинейностью в виде сигмоиды а на каждом временном шаге и составляют адаптивное хранилище для промежуточных вычислений и связей между элементами последовательности.
Современные работы, такие как [42], используют аналогии с рабочей памятью для разработки модели быстрых весов, которые динамически восстанавливаются из представлений на текущем временном шаге. Быстрая ассоциативная память действует в промежутке между временными шагами, постепенно восстанавливая и записывая ассоциации в матрицу быстрых весов. Позже показывается формальная эквивалентность линейного механизма внимания и контроллера, основанного на быстрых весах [43]. На основе этого наблюдения разрабатывается модель с повышенной ёмкостью памяти. Эквивалентность разных классов моделей будет рассмотрена подробнее в следующих секциях.
1.3 Память в архитектурах для обработки последовательностей
Некоторые задачи требуют обработки последовательностей разного вида, например процессы с временной зависимостью, временные ряды, дискретные и непрерывные сигналы, речь и текст. Для работы с последовательностями переменной длины часто используется рекуррентная обработка, когда элементы обрабатываются по очереди с помощью одинакового набора весов. Это позволяет сохранить фиксированное количество параметров модели, вне зависимости от длины последовательности. Рекуррентный способ обработки последовательных данных предполагает поэтапное выполнение операций: от первого элемента последовательности х1 до последнего хь, где Ь — длина последовательности.
В данной работе предлагается и используется унифицированный вид моделей для обработки последовательностей с фокусом на операциях с памятью (Рисунок 1.2).
Рисунок 1.2. Единый вид моделей для обработки последовательностей с нелинейным обновлением состояния памяти.
Здесь и далее будем обозначать вход модели на шаге Ь за Х-^, ее выход или предсказания - за о^, а состояние памяти - (либо И в случае, если память - один вектор). Д представляет собой гейт записи в память, который контролируют её обновление, опираясь на текущий входной сигнал и предыдущее состояние памяти. В то же время /0 играет роль гейта чтения и формирования выхода, вычисляя значение о^ на текущем шаге:
н± = Л(Д-1,ж*), <Н = МНцХг).
Этот подход напоминает концепцию, предложенную в [44], однако в данной работе операции обработки входа и обобщения сведены к одной операции. Для удобства также объединены выходные компоненты объединены в единый механизм /0. Гейты чтения и записи также являются функциями весов модели, обозначаемых W.
1.3.1 Рекуррентные нейронные сети
Рекуррентные нейронные сети (ИКК) — это класс нейросетевых архитектур, специально предназначенных для обработки последовательной информации. Как указано в [45], первые аналоги ИКК без обучения появились ещё в 1920-х годах [46], их обсуждение можно найти в [47]. Впервые обучаемые модели ИКК были предложены в [48]. Главной особенностью ИКК является использование одинаковых весов на всех временных шагах. Это означает, что один и тот же набор параметров модели обрабатывает каждый элемент последовательности, получая его на вход вместе с рекуррентным состоянием системы Н. Данный процесс описывается системой:
где / — это рекуррентная функция, параметризованная с помощью весов W. Состояние включает в себя всю информацию о предыдущих шагах, а функция / выполняет обновление состояния и обработку входных данных.
В данной работе рассматривается базовая версия ИКК, построенная на базе полносвязных слоёв с весами W, смещениями Ь, нелинейной функцией активации ф и скрытым состоянием в виде вещественного вектора Нг. На каждом шаге времени £ модель принимает хг и в качестве входных данных и формирует выходной сигнал ог:
Обучение ИКК с использованием метода обратного распространения ошибки во времени (ВРТТ) [49; 50] требует прохождения градиента через рекуррентные связи к предыдущим временным шагам. Однако по мере увеличения числа шагов это становится сложнее из-за проблем затухания или взрывного роста градиента, описанных Б. НосЬге^ег и Л. 8сЬш1^иЬег в 1991 году и позже У. Веп§ю в [51]. Интуитивно, ИКК перезаписывает своё состояние на каждом шаге, что затрудняет сохранение долгосрочной информации. Кроме того, модель не имеет явных механизмов для фильтрации нерелевантных
(1.5)
Н = ф(xtWxh + Ы-^нн + Ьн), ог = ф(htWho + Ь0).
(1.6)
входных данных или удаления устаревшей информации из памяти, возлагая эти задачи на основной слой.
1.3.2 Сети с долгой краткосрочной памятью
Архитектура с длинной краткосрочной памятью (Long Short-Term Memory, LSTM) [52] представляет собой усовершенствованную версию RNN, где добавлено отдельное состояние памяти, которое хранится и обрабатывается независимо. Этот подход создаёт дополнительное пространство для хранения информации, что позволяет сохранять больше данных на длительных интервалах времени. Работа с памятью в LSTM осуществляется с помощью отдельных элементов управления: гейта забывания f, входного гейта i, гейта, генерирующего кандидатное состояние ячейки h, и выходного гейта о.
ht = ft © ht-i + it © h, где ft = a(xtWxf + Ot-iWhf + bf), it = G(xtWxi + Ot-iWol + bi),
~ (1 7)
ht = ianh(xtWxh + ot-i W0h + h),
ot = dt © tanh(ht), где Ot = G(xtWX0 + Ot-lWoo + b0).
Для выполнения операций используются произведение Адамара ©, а также функции активации, такие как сигмоида а и гиперболический тангенс tanh. В данной статье переменные переименованы для единообразия терминологии: ht обозначает состояние памяти, а Ot — выход ячейки, также передаваемый на следующий шаг.
Раздельное хранение и обработка памяти позволяет в LSTM добиться «постоянного потока ошибки» на этапе обратного распространения, что даёт возможность эффективно обучать модель на задачах с долгосрочными зависимостями. Благодаря этому LSTM приобрела популярность как в академических исследованиях, так и в промышленности, решая задачи от
автоматического дополнения текста до обработки сигналов и машинного перевода.
Gated Recurrent Unit (GRU) [53] является упрощённой версией LSTM, и уменьшает сложность архитектуры за счёт объединения гейта забывания и гейта обновления в единый механизм. GRU объединяет ячейку памяти и выход в одном векторе состояния ht, что упрощает обучение из-за меньшего числа параметров, при этом обеспечивая результаты, сравнимые с LSTM. GRU использует два гейта: гейт обновления z и гейт сброса г, а также промежуточное кандидатное состояние ht, из которого формируется новое состояние:
h = (1 - zt) © ht-i + zt © ht, где Zt = v(xtWxz + Ot-lWoZ + bz),
rt = v(xtWxr + Ot-iWor + br), (1.8)
h = tanh(xtWxh + (rt © ot-i)Woh + bh), ot = h.
Рекуррентные сети также применяются в составе более сложных моделей, таких как двунаправленные RNN [54] или многослойные нейронные сети [55], которые создают более контекстуализированные двунаправленные текстовые представления. Например, метод [56] расширяет возможности RNN с помощью внешней памяти и подходов к обучению, нацеленных на элементы последовательности, предсказываемые с высокой степенью неопределённости.
Похожие диссертационные работы по специальности «Другие cпециальности», 00.00.00 шифр ВАК
Методы активного обучения в задаче нейросетевого машинного перевода2025 год, кандидат наук Карпачёв Николай Евгеньевич
Разработка алгоритмов оценивания характеристик диалоговой системы на основе применения нечеткого вывода с нейросетевой настройкой2023 год, кандидат наук Игитян Елена Владимировна
Обучение репрезентаций в обработке естественного языка2026 год, кандидат наук Балаганский Никита Николаевич
Выявление структурных компонентов языковых моделей, ответственных за лингвистические и фактологические знания, и управление ими2025 год, кандидат наук Плетенев Сергей Александрович
Модели и методы автоматического обнаружения, верификации и анализа недостоверной, искаженной и манипулятивной информации в текстовых данных2025 год, кандидат наук Чернявский Антон Сергеевич
Список литературы диссертационного исследования кандидат наук Булатов Айдар Салаватович, 2025 год
Список литературы
1. Vaswani, A. [h gp.]. Attention is All you Need // Advances in neural information processing systems. — 2017. — C. 5998—6008.
2. Liu, N. F. [h gp.]. Lost in the middle: How language models use long contexts // arXiv preprint arXiv:2307.03172. — 2023.
3. Kuratov, Y. [h gp.]. BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack // Advances in Neural Information Processing Systems. — 2024. — T. 37. — C. 106519—106554.
4. Burtsev, M. S. [h gp.]. Memory transformer // arXiv preprint arXiv:2006.11527. — 2020.
5. Katharopoulos, A. [h gp.]. Transformers are rnns: Fast autoregressive transformers with linear attention // International conference on machine learning. — 2020. — C. 5156—5165.
6. Dai, Z. [h gp.]. Transformer-XL: Attentive Language Models beyond a Fixed-Length Context // Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. — 2019. — C. 2978—2988.
7. Beltagy, I., Peters, M. E., Cohan, A. Longformer: The long-document transformer // arXiv preprint arXiv:2004.05150. — 2020.
8. Zaheer, M. [h gp.]. Big Bird: Transformers for Longer Sequences // Advances in Neural Information Processing Systems. — 2020. — T. 33. — C. 17283—17297.
9. Dehghani, M. [h gp.]. Universal Transformers // International Conference on Learning Representations. — 2019.
10. Yu, W. [h gp.]. Generate rather than retrieve: Large language models are strong context generators // arXiv preprint arXiv:2209.10063. — 2022.
11. Wu, Y. [h gp.]. Memorizing Transformers // International Conference on Learning Representations. — 2022.
12. Bulatov, A. [h gp.]. Beyond Attention: Breaking the Limits of Transformer Context Length with Recurrent Memory // Proceedings of the AAAI Conference on Artificial Intelligence. — 2024. — T. 38. — C. 17700—17708.
13. Bulatov, A., Kuratov, Y., Burtsev, M. Recurrent Memory Transformer // Advances in Neural Information Processing Systems. — 2022. — Т. 35. —
C. 11079—11091.
14. Bulatov, A., Kuratov, Y., Burtsev, M. Mastering Long-Context Multi-Task Reasoning with Transformers and Recurrent Memory // Optical Memory and Neural Networks. — 2024. — Т. 33. — S466—S474.
15. Булатов, А., Куратов, Ю., Бурцев, М. Обзор архитектуры рекуррентного трансформера в контексте нейронных сетей с памятью // Труды МФТИ. Труды Московского физико-технического института (национального исследовательского университета). — 2024. — Т. 16. — С. 5—20.
16. Bulatov, A. [и др.]. Beyond Attention: Breaking the Limits of Transformer Context Length with Recurrent Memory // Proceedings of the AAAI Conference on Artificial Intelligence. — 2024. — Т. 38. — С. 17700—17708.
17. Kuratov, Y. [и др.]. BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack // Advances in Neural Information Processing Systems. — 2024. — Т. 37. — С. 106519—106554.
18. Parallel distributed processing, volume 1: Explorations in the microstructure of cognition: Foundations / D. E. Rumelhart, J. L. McClelland, P. R. Group [и др.]. — 1986.
19. Parallel distributed processing, volume 2: Explorations in the microstructure of cognition: Psychological and biological models. Т. 2 / J. L. McClelland,
D. E. Rumelhart, P. R. Group [и др.]. — 1987.
20. Elman, J. L. Finding structure in time // Cognitive science. — 1990. — Т. 14. — С. 179—211.
21. Tay, Y. [и др.]. Efficient transformers: A survey.(2020) // arXiv preprint cs.LG/2009.06732. — 2020.
22. Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation / E. Cherepanov [и др.]. — 2024. — arXiv: 2412.06531 [cs.LG].
23. He, Z. [и др.]. Human-inspired Perspectives: A Survey on AI Long-term Memory // arXiv preprint arXiv:2411.00489. — 2024.
24. Khosla, S., Zhu, Z., He, Y. Survey on Memory-Augmented neural networks: Cognitive insights to AI applications // arXiv preprint arXiv:2312.06141. — 2023.
25. Willshaw, D. J., Buneman, O. P., Longuet-Higgins, H. C. Non-holographic associative memory // Nature. — 1969. — T. 222. — C. 960—962.
26. Plate, T. A. Holographic reduced representations // IEEE Transactions on Neural networks. — 1995. — T. 6. — C. 623—641.
27. Hinton, G. E., Anderson, J. A. PARALLEL MODELS OF ASSOCIATIVE MEMORY //. — 1981.
28. Hopfield, J. J. Neural networks and physical systems with emergent collective computational abilities. // Proceedings of the national academy of sciences. — 1982. — T. 79. — C. 2554—2558.
29. Krotov, D., Hopfield, J. J. Dense associative memory for pattern recognition // Advances in neural information processing systems. — 2016. — T. 29.
30. Krotov, D., Hopfield, J. Dense associative memory is robust to adversarial inputs // Neural computation. — 2018. — T. 30. — C. 3151—3167.
31. Danihelka, I. [h gp.]. Associative long short-term memory // International conference on machine learning. — 2016. — C. 1986—1994.
32. Ramsauer, H. [h gp.]. Hopfield networks is all you need // arXiv preprint arXiv:2008.02217. — 2020.
33. Ivakhnenko, A. Cybernetic Predicting Devices / A. Ivakhnenko, V. Lapa, P. U. L. I. S. O. E. ENGINEERING. — 1965.
34. Werbos, P. J. Applications of advances in nonlinear sensitivity analysis // System Modeling and Optimization. — 1982. — C. 762—770.
35. Rumelhart, D. E., Hinton, G. E., Williams, R. J. Learning internal representations by error propagation, parallel distributed processing, explorations in the microstructure of cognition, ed. de rumelhart and j. mcclelland. vol. 1. 1986 // Biometrika. — 1986. — T. 71. — C. 6.
36. Kingma, D. P., Ba, J. Adam: A Method for Stochastic Optimization // ICLR (Poster). — 2015.
37. McCloskey, M. Catastrophic interference in connectionist networks: The sequential learning problem / M. McCloskey, N. J. Cohen // Psychology of learning and motivation. T. 24. — 1989. — C. 109—165.
38. Von Der Malsburg, C. The correlation theory of brain function / C. Von Der Malsburg // Models of neural networks: Temporal aspects of coding and information processing in biological systems. — 1994. — C. 95—119.
39. Feldman, J. A., Ballard, D. H. Connectionist models and their properties // Cognitive science. — 1982. — T. 6. — C. 205—254.
40. Hinton, G. E., Plaut, D. C. Using fast weights to deblur old memories // Proceedings of the ninth annual conference of the Cognitive Science Society. — 1987. — C. 177—186.
41. Schmidhuber, J. Learning to control fast-weight memories: An alternative to dynamic recurrent networks // Neural Computation. — 1992. — T. 4. — C. 131—139.
42. Ba, J. [h gp.]. Using fast weights to attend to the recent past // Advances in neural information processing systems. — 2016. — T. 29.
43. Schlag, I., Irie, K., Schmidhuber, J. Linear transformers are secretly fast weight programmers // International Conference on Machine Learning. — 2021. — C. 9355—9366.
44. Weston, J., Chopra, S., Bordes, A. Memory Networks // 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings. — 2015.
45. Schmidhuber, J. Annotated history of modern ai and deep learning // arXiv preprint arXiv:2212.11279. — 2022.
46. Lenz, W. Beitrag zum Verständnis der magnetischen Erscheinungen in festen Körpern // Z. Phys. — 1920. — T. 21. — C. 613—615.
47. McCulloch, W. S., Pitts, W. A logical calculus of the ideas immanent in nervous activity // The bulletin of mathematical biophysics. — 1943. — T. 5. — C. 115—133.
48. Amari, S.-I. Characteristics of random nets of analog neuron-like elements // IEEE Transactions on systems, man, and cybernetics. — 1972. — C. 643—657.
49. Werbos, P. J. Generalization of backpropagation with application to a recurrent gas market model // Neural networks. — 1988. — T. 1. — C. 339—356.
50. Williams, R. J. Gradient-based learning algorithms for recurrent networks and their computational complexity / R. J. Williams, D. Zipser // Backpropagation. — 1992. — C. 433—486.
51. Bengio, Y., Simard, P., Frasconi, P. Learning long-term dependencies with gradient descent is difficult // IEEE transactions on neural networks. — 1994. — T. 5. — C. 157—166.
52. Hochreiter, S., Schmidhuber, J. Long Short-Term Memory // Neural Comput. — 1997. — T. 9. — C. 1735—1780.
53. Cho, K. [h gp.]. On the Properties of Neural Machine Translation: Encoder-Decoder Approaches // Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation. — 2014. — C. 103—111.
54. Schuster, M., Paliwal, K. K. Bidirectional recurrent neural networks // IEEE transactions on Signal Processing. — 1997. — T. 45. — C. 2673—2681.
55. Peters, M. E. [h gp.]. Deep Contextualized Word Representations // ArXiv. — 2018. — Abs/1802.05365.
56. Sorokin, A. [h gp.]. Explain My Surprise: Learning Efficient Long-Term Memory by Predicting Uncertain Outcomes // Advances in Neural Information Processing Systems. — 2022. — T. 35. — C. 36875—36888.
57. Bahdanau, D., Cho, K. H., Bengio, Y. Neural machine translation by jointly learning to align and translate // 3rd International Conference on Learning Representations, ICLR 2015. — 2015.
58. Graves, A., Wayne, G., Danihelka, I. Neural turing machines // arXiv preprint arXiv:1410.5401. — 2014.
59. Graves, A. [h gp.]. Hybrid computing using a neural network with dynamic external memory // Nature. — 2016. — T. 538. — C. 471—476.
60. Scaling Memory-Augmented Neural Networks with Sparse Reads and Writes / J. W. Rae [h gp.]. — 2016. — arXiv: 1610.09027 [cs.LG].
61. Joulin, A. Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets / A. Joulin, T. Mikolov. — 2015. — arXiv: 1503.01007 [cs.NE].
62. Learning to Transduce with Unbounded Memory / E. Grefenstette [h gp.]. — 2015.— arXiv: 1506.02516 [cs.NE].
63. End-To-End Memory Networks / S. Sukhbaatar [h gp.]. — 2015. — arXiv: 1503.08895 [cs.NE].
64. Elhage, N. [h gp.]. A mathematical framework for transformer circuits // Transformer Circuits Thread. — 2021. — T. 1. — C. 12.
65. Srivastava, R. K., Greff, K., Schmidhuber, J. Highway networks // arXiv preprint arXiv:1505.00387. — 2015.
66. Fan, A. [h gp.]. Addressing some limitations of transformers with feedback memory // arXiv preprint arXiv:2002.09402. — 2020.
67. Dai, Z. [h gp.]. Funnel-transformer: Filtering out sequential redundancy for efficient language processing // Advances in neural information processing systems. — 2020. — T. 33. — C. 4271—4282.
68. Graves, A. Adaptive computation time for recurrent neural networks // arXiv preprint arXiv:1603.08983. — 2016.
69. Wei, J. [h gp.]. Chain-of-thought prompting elicits reasoning in large language models // Advances in neural information processing systems. — 2022. — T. 35. — C. 24824—24837.
70. Goyal, S. [h gp.]. Think before you speak: Training language models with pause tokens // arXiv preprint arXiv:2310.02226. — 2023.
71. Pfau, J., Merrill, W., Bowman, S. R. Let's Think Dot by Dot: Hidden Computation in Transformer Language Models // arXiv preprint arXiv:2404.15758. — 2024.
72. Sukhbaatar, S. [h gp.]. Augmenting self-attention with persistent memory // arXiv preprint arXiv:1907.01470. — 2019.
73. Geva, M. [h gp.]. Transformer feed-forward layers are key-value memories // arXiv preprint arXiv:2012.14913. — 2020.
74. Meng, K. [h gp.]. Locating and editing factual associations in GPT // Advances in Neural Information Processing Systems. — 2022. — T. 35. — C. 17359—17372.
75. Meng, K. [h gp.]. Mass-editing memory in a transformer // arXiv preprint arXiv:2210.07229. — 2022.
76. Lester, B., Al-Rfou, R., Constant, N. The power of scale for parameter-efficient prompt tuning // arXiv preprint arXiv:2104.08691. — 2021.
77. Li, X. L., Liang, P. Prefix-tuning: Optimizing continuous prompts for generation // arXiv preprint arXiv:2101.00190. — 2021.
78. Xiao, G. [h gp.]. Efficient streaming language models with attention sinks // arXiv preprint arXiv:2309.17453. — 2023.
79. Rae, J. W. [h gp.]. Compressive Transformers for Long-Range Sequence Modelling // International Conference on Learning Representations. — 2020.
80. Wu, Q. [h gp.]. Memformer: A Memory-Augmented Transformer for Sequence Modeling // Findings of the Association for Computational Linguistics: AACL-IJCNLP 2022. — 2022. — C. 308—318.
81. Yoshida, D., Ettinger, A., Gimpel, K. Adding recurrence to pretrained transformers for improved efficiency and context size // arXiv preprint arXiv:2008.07027. — 2020.
82. Feng, Y. [h gp.]. Learn to remember: Transformer with recurrent memory for document-level machine translation // arXiv preprint arXiv:2205.01546. — 2022.
83. MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning / J. Lei [h gp.]. — 2020. — arXiv: 2005.05402 [cs.CL].
84. Martins, P. H., Marinho, Z., Martins, A. F. infty former: Infinite Memory Transformer // arXiv preprint arXiv:2109.00301. — 2021.
85. Large Memory Layers with Product Keys / G. Lample [h gp.]. — 2019. — arXiv: 1907.05242 [cs.CL].
86. Ding, S. [h gp.]. ERNIE-Doc: A Retrospective Long-Document Modeling Transformer // Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). — 2021. — C. 2914—2927.
87. Sun, Y. [h gp.]. ERNIE 2.0: A Continual Pre-training Framework for Language Understanding. arXiv e-prints, art // arXiv preprint arXiv:1907.12412. — 2019.
88. Packer, C. [h gp.]. Memgpt: Towards llms as operating systems // arXiv preprint arXiv:2310.08560. — 2023.
89. Yang, H. [h gp.]. Memory3: Language Modeling with Explicit Memory // arXiv preprint arXiv:2407.01178. — 2024.
90. Gao, J., Cao, Z., Li, W. SelfCP: Compressing over-limit prompt via the frozen large language model itself // Information Processing & Management. — 2024. — T. 61. — C. 103873.
91. Li, Z., Su, Y., Collier, N. 500xCompressor: Generalized Prompt Compression for Large Language Models // arXiv preprint arXiv:2408.03094. — 2024.
92. Bertsch, A. [h gp.]. Unlimiformer: Long-Range Transformers with Unlimited Length Input // arXiv preprint arXiv:2305.01625. — 2023.
93. Borgeaud, S. [h gp.]. Improving language models by retrieving from trillions of tokens // International conference on machine learning. — 2022. — C. 2206—2240.
94. Rubin, O., Berant, J. Long-range Language Modeling with Self-retrieval // arXiv preprint arXiv:2306.13421. — 2023.
95. Li, Z. [h gp.]. Retrieval augmented generation or long-context llms? a comprehensive study and hybrid approach // Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track. — 2024. — C. 881—893.
96. Gu, A. [h gp.]. HiPPO: Recurrent Memory with Optimal Polynomial Projections // Advances in Neural Information Processing Systems. — 2020. — T. 33. — C. 1474—1487.
97. Gu, A. [h gp.]. Combining Recurrent, Convolutional, and Continuous-time Models with Linear State Space Layers // Advances in neural information processing systems. — 2021.
98. Gu, A., Goel, K., Re, C. Efficiently Modeling Long Sequences with Structured State Spaces // International Conference on Learning Representations. — 2021.
99
100
101
102
103
104
105
106
107
108
109
110
111
112
Peng, B. [h gp.]. RWKV: Reinventing RNNs for the Transformer Era // arXiv preprint arXiv:2305.13048. — 2023.
Gu, A., Dao, T. Mamba: Linear-time sequence modeling with selective state spaces // arXiv preprint arXiv:2312.00752. — 2023.
Lieber, O. [h gp.]. Jamba: A hybrid transformer-mamba language model // arXiv preprint arXiv:2403.19887. — 2024.
Dong, X. [h gp.]. Hymba: A Hybrid-head Architecture for Small Language Models // arXiv preprint arXiv:2411.13676. — 2024.
Schlag, I., Irie, K., Schmidhuber, J. Linear transformers are secretly fast weight programmers // International Conference on Machine Learning. — 2021. — C. 9355—9366.
Yang, S. [h gp.]. Parallelizing Linear Transformers with the Delta Rule over Sequence Length // arXiv preprint arXiv:2406.06484. — 2024.
Sun, Y. [h gp.]. Retentive network: A successor to transformer for large language models // arXiv preprint arXiv:2307.08621. — 2023.
Dao, T., Gu, A. Transformers are SSMs: Generalized models and efficient algorithms through structured state space duality // arXiv preprint arXiv:2405.21060. — 2024.
Beck, M. [h gp.]. xLSTM: Extended Long Short-Term Memory // arXiv preprint arXiv:2405.04517. — 2024.
Rodkin, I. [h gp.]. Associative Recurrent Memory Transformer // arXiv preprint arXiv:2407.04841. — 2024.
Bulatov, A., Kuratov, Y., Burtsev, M. Recurrent Memory Transformer // Advances in Neural Information Processing Systems. — 2022. — T. 35. — C. 11079—11091.
Arora, S. [h gp.]. Simple linear attention language models balance the recall-throughput tradeoff // arXiv preprint arXiv:2402.18668. — 2024.
Barbero, F. [h gp.]. Transformers need glasses! Information over-squashing in language tasks // arXiv preprint arXiv:2406.04267. — 2024.
Hsieh, C.-P. [h gp.]. RULER: What's the Real Context Size of Your Long-Context Language Models? // arXiv preprint arXiv:2404.06654. — 2024.
113
114
115
116
117
118
119
120
121
122
123
124
125
126
Jelassi, S. [h gp.]. Repeat after me: Transformers are better than state space models at copying // arXiv preprint arXiv:2402.01032. — 2024.
Park, J. [h gp.]. Can mamba learn how to learn? a comparative study on in-context learning tasks // arXiv preprint arXiv:2402.04248. — 2024.
Waleffe, R. [h gp.]. An Empirical Study of Mamba-based Language Models // arXiv preprint arXiv:2406.07887. — 2024.
Chen, Y. [h gp.]. Recurrent neural networks as weighted language recognizers // arXiv preprint arXiv:1711.05408. — 2017.
Perez, J., Marinkovic, J., Barcelo, P. On the turing completeness of modern neural network architectures // arXiv preprint arXiv:1901.03429. — 2019.
Perez, J., Barcelo, P., Marinkovic, J. Attention is turing-complete // Journal of Machine Learning Research. — 2021. — T. 22. — C. 1—35.
Siegelmann, H. T., Sontag, E. D. Analog computation via neural networks // Theoretical Computer Science. — 1994. — T. 131. — C. 331—360.
Deletang, G. [h gp.]. Neural networks and the chomsky hierarchy // arXiv preprint arXiv:2207.02098. — 2022.
Strobl, L. [h gp.]. What formal languages can transformers express? a survey // Transactions of the Association for Computational Linguistics. — 2024. — T. 12. — C. 543—561.
Gers, F. A., Schmidhuber, E. LSTM recurrent networks learn simple context-free and context-sensitive languages // IEEE transactions on neural networks. — 2001. — T. 12. — C. 1333—1340.
Korsky, S. A., Berwick, R. C. On the computational power of rnns // arXiv preprint arXiv:1906.06349. — 2019.
Merrill, W., Sabharwal, A. The expresssive power of transformers with chain of thought // arXiv preprint arXiv:2310.07923. — 2023.
Das, S., Giles, C. L., Sun, G.-Z. Learning context-free grammars: Capabilities and limitations of a recurrent neural network with an external stack memory // Proceedings of The Fourteenth Annual Conference of Cognitive Science Society. Indiana University. — 1992. — T. 14.
Suzgun, M. [h gp.]. Memory-augmented recurrent neural networks can learn generalized dyck languages // arXiv preprint arXiv:1911.03329. — 2019.
127. Improving Language Understanding by Generative Pre-Training / A. Radford [h gp.]. — 2018.
128. Dong, L., Xu, S., Xu, B. Speech-Transformer: A No-Recurrence Sequence-to-Sequence Model for Speech Recognition // 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — 2018. — C. 5884—5888.
129. Devlin, J. [h gp.]. BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). — 2019. — C. 4171—4186.
130. Dosovitskiy, A. [h gp.]. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale // International Conference on Learning Representations. — 2021.
131. Ramesh, A. [h gp.]. Zero-Shot Text-to-Image Generation // Proceedings of the 38th International Conference on Machine Learning. — 2021. — T. 139. — C. 8821—8831.
132. Jaegle, A. [h gp.]. Perceiver IO: A general architecture for structured inputs & outputs // arXiv preprint arXiv:2107.14795. — 2021.
133. Generating Long Sequences with Sparse Transformers / R. Child [h gp.]. —
2019.— arXiv: 1904.10509 [cs.LG].
134. Guo, Q. [h gp.]. Star-Transformer // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). — 2019. — C. 1315—1325.
135. ETC: Encoding Long and Structured Data in Transformers / J. Ainslie [h gp.]. — 2020. — arXiv: 2004.08483 [cs.LG].
136. Linformer: Self-Attention with Linear Complexity / S. Wang [h gp.]. —
2020. — arXiv: 2006.04768 [cs.LG].
137. Choromanski, K. [h gp.]. Rethinking attention with performers // arXiv preprint arXiv:2009.14794. — 2020.
138. Gupta, A., Berant, J. GMAT: Global memory augmentation for transformers // arXiv preprint arXiv:2006.03274. — 2020.
139. Merity, S. [h gp.]. Pointer Sentinel Mixture Models // 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. — 2017.
140. Mahoney, M. Large text compression benchmark / M. Mahoney. — 2006.
141. Kiesel, J. [h gp.]. Semeval-2019 task 4: Hyperpartisan news detection // Proceedings of the 13th International Workshop on Semantic Evaluation. — 2019. — C. 829—839.
142. Wolf, T. [h gp.]. Transformers: State-of-the-art natural language processing // Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations. — 2020. — C. 38—45.
143. Liu, Y. [h gp.]. RoBERTa: A Robustly Optimized BERT Pretraining Approach // arXiv preprint arXiv:1907.11692. — 2019.
144. He, P. [h gp.]. Deberta: Decoding-enhanced bert with disentangled attention // arXiv preprint arXiv:2006.03654. — 2020.
145. Roberts, A. [h gp.]. Exploring the limits of transfer learning with a unified text-to-text transformer // Google, Tech. Rep. — 2019.
146. Xu, P. [h gp.]. Contrastive Document Representation Learning with Graph Attention Networks // arXiv preprint arXiv:2110.10778. — 2021.
147. Liu, Y. [h gp.]. ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention // arXiv preprint arXiv:2203.12276. — 2022.
148. Weston, J. [h gp.]. Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks // 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings. — 2016.
149. Pang, R. Y. [h gp.]. QuALITY: Question Answering with Long Input Texts, Yes! // Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. — 2022. — C. 5336—5358.
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
CoLT5: Faster Long-Range Transformers with Conditional Computation / J. Ainslie [h gp.]. — 2023. — arXiv: 2303.09752 [cs.CL].
OpenAI. GPT-4 Technical Report / OpenAI. — 2023. — arXiv: 2303.08774 [cs.CL].
Loshchilov, I., Hutter, F. Decoupled Weight Decay Regularization // International Conference on Learning Representations. — 2019.
Radford, A. [h gp.]. Language Models are Unsupervised Multitask Learners //. — 2019.
Brown, T. [h gp.]. Language Models are Few-Shot Learners // Advances in Neural Information Processing Systems. — 2020. — T. 33. — C. 1877—1901.
Dubey, A. [h gp.]. The llama 3 herd of models // arXiv preprint arXiv:2407.21783. — 2024.
Anthropic. Introducing the next generation of Claude / Anthropic. — 2024.
Gao, L. [h gp.]. The Pile: An 800GB Dataset of Diverse Text for Language Modeling // arXiv preprint arXiv:2101.00027. — 2020.
GPT-Neo: Large Scale Autoregressive Language Modeling with Mesh-Tensorflow / S. Black [h gp.]. — Bep. 1.0. — 03.2021.
Dao, T. [h gp.]. Flashattention: Fast and memory-efficient exact attention with io-awareness // Advances in Neural Information Processing Systems. — 2022. — T. 35. — C. 16344—16359.
Hu, E. J. [h gp.]. LoRA: Low-Rank Adaptation of Large Language Models // International Conference on Learning Representations. — 2022.
He, J. [h gp.]. Towards a Unified View of Parameter-Efficient Transfer Learning // International Conference on Learning Representations. — 2022.
Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling / S. Biderman [h gp.]. — 2023. — arXiv: 2304.01373 [cs.CL].
OpenAI. New models and developer products announced at DevDay / OpenAI. — 2023.
Reid, M. [h gp.]. Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context // arXiv preprint arXiv:2403.05530. — 2024.
165. Chevalier, A. [h gp.]. Adapting Language Models to Compress Contexts // Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. — 2023. — C. 3829—3846.
166. Agarwal, R. [h gp.]. Many-Shot In-Context Learning // arXiv preprint arXiv:2404.11018. — 2024.
167. Lee, J. [h gp.]. Supervised pretraining can learn in-context reinforcement learning // Advances in Neural Information Processing Systems. — 2024. — T. 36.
168. Bai, Y. [h gp.]. Longbench: A bilingual, multitask benchmark for long context understanding // arXiv preprint arXiv:2308.14508. — 2023.
169. An, C. [h gp.]. L-eval: Instituting standardized evaluation for long context language models // arXiv preprint arXiv:2307.11088. — 2023.
170. Liu, H. [h gp.]. World model on million-length video and language with blockwise ringattention // arXiv preprint arXiv:2402.08268. — 2024.
171. Zhang, X. [h gp.]. infty Bench: Extending Long Context Evaluation Beyond 100K Tokens // arXiv preprint arXiv:2402.13718. — 2024.
172. Song, M. Counting-Stars: A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context Large Language Models / M. Song, M. Zheng, X. Luo. — 2024. — arXiv: 2403.11802 [cs.CL].
173. Cohere. Command R: Retrieval-Augmented Generation at Production Scale / Cohere. — 2024.
174. Wang, S. [h gp.]. XL3M: A Training-free Framework for LLM Length Extension Based on Segment-wise Inference // arXiv preprint arXiv:2405.17755. — 2024.
175. Tay, Y. [h gp.]. Long Range Arena : A Benchmark for Efficient Transformers // International Conference on Learning Representations. — 2021.
176. Shaham, U. [h gp.]. SCROLLS: Standardized CompaRison Over Long Language Sequences // Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. — 2022. — C. 12007—12021.
177. Shaham, U. [h gp.]. ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding // arXiv preprint arXiv:2305.14196. — 2023.
178. Bai, Y. [h gp.]. Longalign: A recipe for long context alignment of large language models // arXiv preprint arXiv:2401.18058. — 2024.
179. Li, T. [h gp.]. Long-context LLMs Struggle with Long In-context Learning // arXiv preprint arXiv:2404.02060. — 2024.
180. Li, J. [h gp.]. LooGLE: Can Long-Context Language Models Understand Long Contexts? // arXiv preprint arXiv:2311.04939. — 2023.
181. Dong, Z. [h gp.]. Bamboo: A comprehensive benchmark for evaluating long text modeling capacities of large language models // arXiv preprint arXiv:2309.13345. — 2023.
182. Yuan, T. [h gp.]. LV-Eval: A Balanced Long-Context Benchmark with 5 Length Levels Up to 256K // arXiv preprint arXiv:2402.05136. — 2024.
183. Wang, C. [h gp.]. NovelQA: A Benchmark for Long-Range Novel Question Answering // arXiv preprint arXiv:2403.12766. — 2024.
184. Zhang, L. [h gp.]. Marathon: A Race Through the Realm of Long Context with Large Language Models // arXiv preprint arXiv:2312.09542. — 2023.
185. Ni, X. [h gp.]. XL2 Bench: A Benchmark for Extremely Long Context Understanding with Long-range Dependencies // arXiv preprint arXiv:2404.05446. — 2024.
186. Reddy, V. [h gp.]. DocFinQA: A Long-Context Financial Reasoning Dataset // arXiv preprint arXiv:2401.06915. — 2024.
187. Sun, S., Thai, K., Iyyer, M. ChapterBreak: A Challenge Dataset for Long-Range Language Models // Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. — 2022. — C. 3704—3714.
188. Wang, C. [h gp.]. Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks // arXiv preprint arXiv:2404.06480. — 2024.
189. Song, D. [h gp.]. MileBench: Benchmarking MLLMs in Long Context // arXiv preprint arXiv:2404.18532. — 2024.
190. Lei, F. [h gp.]. S3eval: A synthetic, scalable, systematic evaluation suite for large language models // arXiv preprint arXiv:2310.15147. — 2023.
191
192
193
194
195
196
197
198
199
200
201
202
203
204
Qiu, Z. [h gp.]. CLongEval: A Chinese Benchmark for Evaluating Long-Context Large Language Models // arXiv preprint arXiv:2403.03514. — 2024.
Guu, K. [h gp.]. Retrieval augmented language model pre-training // International conference on machine learning. — 2020. — C. 3929—3938.
Shi, W. [h gp.]. Replug: Retrieval-augmented black-box language models // arXiv preprint arXiv:2301.12652. — 2023.
Khandelwal, U. [h gp.]. Generalization through Memorization: Nearest Neighbor Language Models // International Conference on Learning Representations. — 2019.
Voelker, A., Kajic, I., Eliasmith, C. Legendre memory units: Continuous-time representation in recurrent neural networks // Advances in neural information processing systems. — 2019. — T. 32.
Bulatov, A., Kuratov, Y., Burtsev, M. Recurrent Memory Transformer // Advances in Neural Information Processing Systems. — 2022. — T. 35. — C. 11079—11091.
Zhang, P. [h gp.]. Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon // arXiv preprint arXiv:2401.03462. — 2024.
Didolkar, A. [h gp.]. Temporal latent bottleneck: Synthesis of fast and slow processing mechanisms in sequence learning // Advances in Neural Information Processing Systems. — 2022. — T. 35. — C. 10505—10520.
Hutchins, D. [h gp.]. Block-Recurrent Transformers // Advances in Neural Information Processing Systems. — 2022.
Ding, J. [h gp.]. Longnet: Scaling transformers to 1,000,000,000 tokens // arXiv preprint arXiv:2307.02486. — 2023.
Sainz, O. [h gp.]. NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark // Findings of the Association for Computational Linguistics: EMNLP 2023. — 2023. — C. 10776—10787.
AI@Meta. Llama 3 Model Card //. — 2024.
Jiang, A. Q. [h gp.]. Mistral 7B // arXiv preprint arXiv:2310.06825. — 2023.
Jiang, A. Q. [h gp.]. Mixtral of experts // arXiv preprint arXiv:2401.04088. — 2024.
205. Du, Z. [h gp.]. GLM: General Language Model Pretraining with Autoregressive Blank Infilling // Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). — 2022. — C. 320—335.
206. Abdin, M. [h gp.]. Phi-3 technical report: A highly capable language model locally on your phone // arXiv preprint arXiv:2404.14219. — 2024.
207. Team, Q. Qwen2.5: A Party of Foundation Models / Q. Team. — 2024.
208. Young, A. [h gp.]. Yi: Open foundation models by 01. ai // arXiv preprint arXiv:2403.04652. — 2024.
209. Li, D. [h gp.]. How Long Can Context Length of Open-Source LLMs truly Promise? // NeurIPS 2023 Workshop on Instruction Tuning and Instruction Following. — 2023.
210. Chen, Y. [h gp.]. LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models // The Twelfth International Conference on Learning Representations. — 2023.
211. Peng, B. [h gp.]. YaRN: Efficient Context Window Extension of Large Language Models // The Twelfth International Conference on Learning Representations. — 2023.
212. Douze, M. [h gp.]. The Faiss library // arXiv preprint arXiv:2401.08281. — 2024.
213. Chase, H. LangChain / H. Chase. — 10.2022.
214. Liu, Z. [h gp.]. ChatQA: Building GPT-4 Level Conversational QA Models // arXiv preprint arXiv:2401.10225. — 2024.
215. Clark, P., Tafjord, O., Richardson, K. Transformers as Soft Reasoners over Language // Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI 2020. — 2020. — C. 3882—3890.
216. Tafjord, O., Dalvi, B., Clark, P. ProofWriter: Generating Implications, Proofs, and Abductive Statements over Natural Language // Findings of the Association for Computational Linguistics: ACL/IJCNLP 2021, Online Event, August 1-6, 2021. — 2021. — ACL/IJCNLP 2021. — C. 3621—3634.
217. Han, S. [h gp.]. FOLIO: Natural Language Reasoning with First-Order Logic // CoRR. — 2022. — Abs/2209.00840.
218. Saparov, A., He, H. Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought // The Eleventh International Conference on Learning Representations, ICLR 2023, Kigali, Rwanda, May 1-5, 2023. — 2023.
219. Tian, J. [h gp.]. Diagnosing the First-Order Logical Reasoning Ability Through LogicNLI // Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 7-11 November, 2021. — 2021. — C. 3738—3747.
220. Poulis, A., Tsalapati, E., Koubarakis, M. Transformer-based Language Models for Reasoning in the Description Logic ALCQ // arXiv preprint arXiv:2410.09613. — 2024.
Список рисунков
1.1 Диаграмма развития основных нейросетевых архитектур с памятью 12
1.2 Единый вид моделей для обработки последовательностей с нелинейным обновлением состояния памяти............... 17
1.3 Работа с памятью в слоях Трансформера. Головы внимания к и полносвязный слой ^^ получают данные из общего хранилища, называемого информационным потоком. После выполнения вычислений результаты записываются обратно в этот поток с использованием механизма сложения и нормализации (add-noгm),
обозначенного плюсом........................... 27
1.4 Архитектура Transformer-XL [6]. На каждом слое Трансформер хранится кэш из скрытых состояний и используется в механизме внимания на следующем сегменте. Градиенты не распространяются за пределы сегмента............................ 33
1.5 Рекуррентный Трансформер с памятью. Токены памяти включаются во входную последовательность вместе с исходным входом модели. После обработки выходное значение памяти передается в следующий сегмент. В процессе обучения градиенты проходят от текущего сегмента к предыдущему через память, обеспечивая его обновление........................ 34
1.6 Единый вид моделей для обработки последовательностей с линейным обновлением состояния памяти................ 39
2.1 Архитектура рекуррентного Трансформера с памятью (ЯМТ).
Архитектура И,МТ добавляет глобальные токены памяти, которые позволяют реализовать рекуррентность на уровне сегментов. Для операций чтения и записи токены памяти добавляются к входной последовательности; допускается использование нескольких токенов для каждой операции. Обновлённые токены записи передаются следующим сегментам. Для обучения ЯМТ применяется ВРТТ, который обеспечивает распространение градиентов через токены памяти между сегментами.......... 51
2.2 RMT показывает лучшую способность к запоминанию с по сравнению с Transformer-XL на алгоритмических задачах при увеличении числа сегментов. На графиках отображена точность моделей на тестовых данных для задач Копирование (а), Реверс (b)
и Ассоциативное извлечение (с)...................... 58
2.3 RMT лучше использует фиксированный размер памяти (60 токенов) по сравнению с Transformer-XL при увеличении длины последовательности для копирования. Длина сегмента одинакова
для обоих методов (120).......................... 59
2.4 RMT успешно решает задачу копирования до 9 сегментов при фиксированной длине последовательности 360, тогда как Transformer-XL не справляется...................... 60
2.5 Для RMT увеличение видимого контекста на этапе обучения достигается за счёт углубления BPTT, а для Transformer-XL — увеличением кэша. Увеличение видимого контекста уменьшает перплексию для обеих моделей (размер маркера отражает размер памяти).................................... 63
2.6 Рекуррентность улучшает результаты RMT по сравнению с Transformer-XL при одинаковых размерах памяти............ 64
2.7 Схематичное изображение карты внимания с памятью. По горизонтали расположены ключи внимания, а по вертикали -запросы. Значение на пересечении строки и столбца означает внимание между соответствующим запросом и ключом........ 64
2.8 Запись в память, длина сегмента 24................... 65
2.9 Чтение из памяти, длина сегмента 24.................. 65
2.10 Перезапись из памяти в память, длина сегмента 8........... 65
2.11 Задача копирования последовательности длиной 12 с
использованием памяти размером 6. Исследуются два подхода: (a) Recurrent Memory Transformer (RMT) и (b) Transformer-XL (Tr-XL). Transformer-XL интегрирует представления токенов и способен обрабатывать несколько символов, используя одно сохранённое состояние. В отличие от него, RMT эффективно преобразует весь сегмент в токены памяти.......................... 66
3.1 Синтетические задачи, требующие памяти. Представлены задачи и необходимые для их выполнения операции памяти в рамках RMT. В задаче «Запоминание» факты размещены в начале текста. Задача «Обнаружение и запоминание» усложняется случайным расположением фактов в тексте. В задаче «Логика» используется два случайных факта для ответа на финальный вопрос. Вопрос в каждой задаче всегда находится в конце текста............. 71
3.2 Обобщение операций с памятью. Модели последовательно обучались на задачах с длиной последовательностей от 1 до 7 сегментов с размером памяти 10. а: Запоминание, b: Обнаружение и запоминание, с: Логика. Модели, обученные на 5+ сегментах, демонстрируют отличную способность к обобщению для более длинных входных данных......................... 74
3.3 RMT способен хранить информацию на последовательностях длиной до 2 х 106 токенов. Интеграция механизма рекуррентной памяти в предварительно обученную модель BERT [109] позволяет сохранять информацию о задаче в семи сегментах по 512 токенов каждый. На этапе инференса модель эффективно обрабатывает 4,096 сегментов, что соответствует общей длине последовательности в 2,048,000 токенов. Это значительно превосходит максимальные размеры входных данных ранее известных Трансформеров, таких как 64K токенов для CoLT5 [150], 32K для GPT-4 [151] и 100K для Claude. Важно отметить, что при валидации размер требуемой видеопамяти для применения модели не зависит от длины последовательности и составляет 3,6 ГБ................. 75
3.4 Карты внимания для работы с памятью. На тепловых картах показаны механизмы внимания в процессе выполнения четырёхсегментной задачи рассуждения. Интенсивность пикселей соответствует значению внимания между ключами и значениями. Слева направо: модель обнаруживает первый факт и записывает его в память ([шеш]-токены); второй сегмент не содержит полезной информации, поэтому содержимое памяти остаётся неизменным; модель находит второй факт и добавляет его в память; CLS извлекает из памяти информацию для ответа на вопрос........ 76
3.5 Обобщение памяти в задаче языкового моделирования. Модели с размерами сегмента a: 128 и Ъ: 1024, обученные с использованием ЯМТ, показывают лучшее значение перплексии и лучшее обобщение на длинных контекстах. График демонстрирует улучшение перплексии при обучении И,МТ с размером памяти 2 по сравнению с базовой моделью СРТ-2, обученной в течение того же
количества шагов.............................. 78
3.6 Память улучшает предсказания в начале сегмента........... 79
3.7 Обучение с расписанием существенно повышает способность ЯМТ запоминать факты и обобщать полученные навыки на последовательности различной длины.................. 80
3.8 В задаче языкового моделирования на корпусе Ату использование всех предыдущих длин сегментов на каждом этапе обучения опережает подход с фиксированным количеством сегментов...... 81
3.9 Сегменты длиной 1000 и 500 токенов в ЯМТ обеспечивают более высокую скорость и меньшее потребление памяти по сравнению с масштабированием полной модели внимания для
последовательностей, превышающих 4000 токенов........... 82
4.1 Формирование набора данных БАБ1Ьоп§. Набор данных создаётся путём включения фактов, необходимых для ответов на вопросы, в большие фрагменты текстов, извлечённые из РС19.......... 90
4.2 Результаты ЬЬМ на задачах из ЬАЫ (БАБ1Ьоп§ без отвлекающих текстов) существенно зависит от сложности задания. Точки на графике представляют среднюю точность модели, рассчитанную на основе 1000 примеров для каждой задачи. Чёрные звёздочки обозначают медианную точность среди всех исследованных моделей. 93
4.3 Результаты ЯМТ на пяти задачах из БАБ1Ьоп§ варьируются в зависимости от начального состояния обучения. На графике показаны средние значения производительности и стандартные отклонения, рассчитанные по результатам трех независимых
запусков................................... 97
4.4 ЯМТ выучивается детектировать и сохранять релевантные факты с использованием памяти. Модель ЯМТ обучается эффективно обнаруживать и сохранять ключевые факты в своей памяти. Этот процесс наглядно демонстрируют тепловые карты (а) и (Ь), показывающие попарные расстояния между состояниями памяти при выполнении задачи QA1 с размерами контекста 16к (а) и 128к (Ь). На картах синим цветом обозначены состояния с большими расстояниями, а красным — схожие состояния. Карты внимания памяти (с) и дополняют это представление: на карте (с) показано, как ЯМТ записывает факт в память, а на карте — как модель извлекает его для ответа на вопрос. Интенсивность красного цвета отображает уровень внимания между запросом
(слева) и ключом (вверху)......................... 99
4.5 Снижение точности при увеличении объёма входного контекста. На графиках показано, как точность моделей ухудшается с ростом длины входного текста. Модели уверенно решают вопросы по одному факту ^А1) до 4К токенов, но испытывают трудности с задачами, требующими использования двух ^А2) или трёх факта ^А3).....................................102
4.6 Дообучение ЬЬМ позволяет эффективно использовать контекст. а) Дообучение существенно повысило точность обеих моделей, достигнув более 90% в задаче QA1 на различных длинах контекста Ь) СРТ-3.5, обученная для задачи QA1, показала улучшенную производительность в задачах QA2-QA5. с) Полное дообучение модели М1э1га1-7В на задачу QA1 ухудшило её результаты на задачах QA2-QA5. Для анализа в пунктах Ь) и с) отвлекающий
текст не применялся............................110
5.1 Расширение набора задач в обучающем датасете ЯМТ способствует улучшению результатов на задачах из обучающей выборки QA1-QA10 (слева) и повышает способность к обобщению на новые задачи QA11-QA15 (справа). Каждая задача имеет длину 512 токенов, что эквивалентно одному сегменту...............119
5.2 Слева: Обучение на задачах БАБ1Ьоп§ способствует повышению качества решения задач с той же меткой. Справа: Обучение на задачах с одинаковой меткой позволяет ЯМТ решать выбранную задачу с почти абсолютной точностью. Длина задачи фиксирована
на уровне 512 токенов, что эквивалентно одному сегменту.......121
5.3 Многозадачное обучение улучшает обобщение на новые задачи и большие контексты. ЯМТ, обученный в многозадачном режиме на 32 сегментах QA1-QA10, сравнивается с усредненными значениями качества для однозадачных моделей, обученных на QA1-QA10. Результаты включают конфигурации: с вопросом в конце и с его повторением в начале и конце последовательности. Показатели усреднены по задачам QA11-QA15....................122
5.4 Многозадачное обучение улучшает устойчивость ЯМТ к изменениям во входных данных. Качество оценивалось на QA11-QA15 с измененными именами сущностей, и для разных длины последовательностей. Все модели обучались на 32 сегментах; многозадачные версии обучались одновременно на QA1-QA10, а результаты для однозадачных версий представляют усредненное качество моделей, обученных на QA1-QA10...............123
Список таблиц
1 Операции с памятью в моделях с линейным обновлением памяти, Рисунок 1.6................................. 40
2 Нормализация Zt в моделях с линейным обновлением памяти..... 40
3 Операции памяти для моделей с нелинейным обновлением памяти (Рисунок 1.2). Ht обозначает состояние памяти, а функции Д и f0 соответствуют операциям записи и чтения................ 41
4 Классификация механизмов памяти в нейросетевых архитектурах . . 46
5 Задача о квадратных уравнениях. [109]................. 60
6 Языковое моделирование на WikiText-103. [109]............ 61
7 Детекция новостей Hyperpartisan..................... 70
8 RMT может быть успешно совмещен с методами обучения, эффективными по параметрам, такие как параллельный адаптер и LoRA. Представлены результаты языкового моделирования на
Arxiv для модели Pythia-70m....................... 84
9 Первые 10 задач BABILong с указанием числа релевантных и нерелевантных фактов........................... 92
10 Распределение числа меток в первых пяти задачах BABILong, в %
от всех примеров.............................. 94
11 Анализ количества токенов для различных моделей в выбранных задачах. Длины задач BABILong оценивались с использованием токенизатора GPT-2, хотя фактические показатели могут отличаться в зависимости от используемого токенизатора....... 95
12 Время, необходимое для обработки 1,000 примеров BABILong с использованием RMT на одном графическом процессоре NVIDIA
A100 (80 ГБ), включая предварительную подготовку данных..... 98
13 BABILong: сравнение моделей с длинным контекстом.........100
14 Результаты модели Gemini 1.5 Pro 002 демонстрируют влияние встроенной системы фильтрации контента на безопасность. Также представлены данные для случаев "без отклонённых где из анализа исключены примеры, на которые модель отказалась отвечать.....104
15 Результаты оценки больших языковых моделей (LLM) по первым
пяти задачам BABILong..........................106
16 Дообучение помогает решить BABILong в отличие от RAG......109
17 Средняя точность решения задач QA1-QA5...............117
18 Метрика числа бит на символ на датасете enwik8. Эксперименты показывают значения близкие к оригинальной статье [6] при
размере сегмента 512 токенов.......................157
19 Значение перплексии на тестовой выборке WikiText-103. Эксперименты с RMT и Transformer-XL, размер сегмента 150 .... 158
20 Значение перплексии на тестовой выборке WikiText-103. Эксперименты с RMT и Transformer-XL, размер сегмента 50 .... 159
Приложение А Пример задачи BABILong QA1
Пример задачи QA1, один требуемый факт, с размером контекста 1024 токена:
QA1 single-supporting-fact
Facts: Mary journeyed to the bathroom. Daniel went back to the bathroom. John moved to the bedroom. John went to the hallway. Sandra travelled to the hallway. John went to the garden. Sandra went back to the bathroom. Sandra moved to the kitchen.
Input: Illicit diamond buying was the easiest path to wealth, and was travelled by almost every millionaire whose name has been connected with recent South African affairs. Milton Woodward, she was ready with a quotation from "The Lady of the Lake": ... Woe the while That brought such wanderer to our isle. Woodward was a strong-willed widower with five strong-willed sons and five strong-willed daughters. The next four years Angeline was a sort of white slave in this family of wrangling brothers and sisters. When her sister Charlotte inquired how she liked her new home, her answer was simply, "Ma's there." The story of this second marriage of Electa Cook's is worthy of record. Mary journeyed to the bathroom. Any impatience toward her first husband of which she may have been guilty was avenged upon her a hundred-fold. Daniel went back to the bathroom. And yet the second marriage was a church affair. John moved to the bedroom. Woodward saw her at church and took a fancy to her. John went to the hallway. "It will make a home for you, Mrs. Stickney," said the minister—as if she were not the mistress of seventy-two acres in her own right! Why she gave up her independence it is difficult to see; but the ways of women are past finding out. Perhaps she sympathized with the ten motherless Woodward children. Sandra travelled to the hallway. Milton Woodward, for he was a man of violent temper, and sometimes abused her in glorious fashion. At the very outset, he opposed her bringing her unmarried daughters to his house. She insisted; but might more wisely have yielded the point. John went to the garden. For two of the daughters married their step-brothers, and shared the Woodward fate. Sandra went back to the bathroom. Twelve-year old Angeline went to work very industriously at the Woodward farm on Dry Hill. What the big, strapping Woodward girls could have been doing it is hard to say—wholly occupied with finding husbands, perhaps. For until 1847 Angeline was her mother's chief assistant, at times doing most of the housework herself. Sandra moved to the kitchen. She baked for the large family, mopped floors, endured all sorts of ...
Question: Where is Sandra? Answer: kitchen
Приложение Б Дополнительные результаты к Главе 1.
Таблица 18. Метрика числа бит на символ на датасете епш1к8. Эксперименты показывают значения близкие к оригинальной статье [6] при размере сегмента 512 токенов.
Моае1 шешогу segment 1еп bpc±std
Хг-ХЬ [6] 512 512 1.06
Хг-ХЬ (оиге) 512 512 1.071
Хг-ХЬ 200 128 1.140
Хг-ХЬ 100 128 1.178
Хг-ХЬ 75 128 1.196
Хг-ХЬ 40 128 1.230 ± 0.001
Хг-ХЬ 20 128 1.261
Хг-ХЬ 10 128 1.283 ± 0.001
ЯМХ ВРХХ-1 5 128 1.241 ± 0.002
ЯМХ ВРХХ-2 5 128 1.231 ± 0.002
ЯМХ ВРХХ-1 10 128 1.240 ± 0.006
ЯМХ ВРХХ-2 10 128 1.228 ± 0.003
ЯМХ ВРХХ-0 20 128 1.301
ЯМХ ВРХХ-1 20 128 1.229
ЯМХ ВРХХ-2 20 128 1.222
Таблица 19. Значение перплексии на тестовой выборке WikiText-103. Эксперименты с RMT и Transformer-XL, размер сегмента 150
Model memory segment len ppl±std
Baseline 0 150 29.95 ± 0.15
MT 10 150 29.63 ± 0.06
MT 25 150 29.67 ± 0.03
MT 75 150 29.69 ± 0.02
MT 150 150 29.82 ± 0.35
Tr-XL (paper) 150 150 24.0
Tr-XL (ours) 150 150 24.12 ± 0.05
Tr-XL (ours) 2x steps 150 150 24.67
Tr-XL 75 150 24.68 ± 0.01
Tr-XL 2x steps 75 150 24.49
Tr-XL 25 150 25.57 ± 0.02
RMT BPTT-0 10 150 26.85 ± 0.02
RMT BPTT-1 10 150 25.92 ± 1.07
RMT BPTT-2 10 150 25.32 ± 0.61
RMT BPTT-3 10 150 25.04 ± 0.07
RMT BPTT-0 25 150 29.73
RMT BPTT-1 25 150 24.91
RMT BPTT-2 25 150 24.85 ± 0.31
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.