Всё, что вам нужно — это внимание

«Attention Is All You Need»^[1][2] (с англ. — «Внимание — это всё, что вам нужно») — знаковая^[3][4] научная статья 2017 года в области машинного обучения, написанная восемью учёными, работавшими в Google. В статье была представлена новая архитектура глубокого обучения, известная как трансформер, основанная на механизме внимания, предложенном в 2014 году Баданау и др.^[5] Она считается фундаментальной^[6] работой в современном искусственном интеллекте и одним из основных факторов бума ИИ, поскольку трансформерный подход стал основной архитектурой для широкого спектра ИИ-систем, таких как большие языковые модели^[7][8]. На момент публикации основное внимание исследования было сосредоточено на улучшении методов seq2seq для машинного перевода, однако авторы пошли дальше, предвидя потенциал этой техники для других задач, таких как ответы на вопросы и то, что сейчас известно как мультимодальный генеративный ИИ^[1].

Название статьи является отсылкой к песне «All You Need Is Love» группы The Beatles^[9]. Название «Трансформер» было выбрано потому, что Якобу Ушкорейту, одному из авторов статьи, понравилось звучание этого слова^[10].

Ранний проектный документ назывался «Трансформеры: итеративное самовнимание и обработка для различных задач» и включал иллюстрацию шести персонажей из франшизы Трансформеры. Команда получила название «Team Transformer» (Команда Трансформер)^[9].

Некоторые из ранних примеров, на которых команда опробовала свою архитектуру Трансформера, включали перевод с английского на немецкий, генерацию статей Википедии на тему «Трансформер» и синтаксический анализ. Это убедило команду в том, что Трансформер является языковой моделью общего назначения, а не только подходящей для перевода^[10].

По состоянию на 2025, статья была процитирована более 173 000 раз^[11], что ставит её в число десяти наиболее цитируемых статей XXI века^[12].

Авторами статьи являются: Эшиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Ллион Джонс, Эйдан Гомес, Лукаш Кайзер и Илья Полосухин. Все восемь авторов внесли «равный вклад» в статью; порядок их перечисления был случайным. Статья в Wired подчёркивает многонациональность группы^[9]:

Шестеро из восьми авторов родились за пределами Соединённых Штатов; двое других — это дети немцев с грин-картами, временно находившихся в Калифорнии, и американец в первом поколении, чья семья бежала от преследований, соответственно.

После публикации статьи все авторы покинули Google, чтобы присоединиться к другим компаниям или основать стартапы. Некоторые из них выражали мнение, что не смогли бы развивать и расширять Трансформер в желаемом направлении, если бы остались в Google^[13].

Статья наиболее известна благодаря представлению архитектуры Трансформера, которая лежит в основе большинства современных больших языковых моделей (LLM). Ключевая причина, по которой эта архитектура предпочтительна для большинства современных LLM, — это её распараллеливаемость по сравнению с предшественниками. Это обеспечивает возможность ускорения операций, необходимых для обучения, на GPU, что позволяет сократить время обучения и обучать модели большего размера.

В рамках разработки архитектуры трансформера в статье были представлены следующие механизмы.

Масштабированное скалярное произведение внимания и самовнимание

Использование механизма масштабированного скалярного произведения внимания и самовнимания вместо рекуррентной нейронной сети или долгой краткосрочной памяти (LSTM) (которые основаны на рекурренсии) позволяет достичь лучшей производительности, как описано в следующем параграфе. В статье масштабированное скалярное произведение внимания описывается следующим образом:

${\displaystyle {\rm {Attention}}(Q,K,V):={\rm {softmax}}\left({\frac {Q\times K^{T}}{\sqrt {d_{k}}}}\right)\times V}$

где ${\displaystyle Q}$, ${\displaystyle K}$, ${\displaystyle V}$ — это соответственно матрицы запросов, ключей и значений, а ${\displaystyle d_{k}}$ — размерность значений.

Поскольку модель опирается на матрицы запросов (Q), ключей (K) и значений (V), которые происходят из одного и того же источника (т. е. входной последовательности / контекстного окна), это полностью устраняет необходимость в RNN, обеспечивая распараллеливаемость архитектуры. Это отличается от первоначальной формы механизма внимания, представленного в 2014 году. Кроме того, в статье также обсуждается использование дополнительного масштабирующего коэффициента, который, как было установлено, наиболее эффективен по отношению к размерности векторов ключей (обозначенной как ${\displaystyle d_{k}}$ и первоначально установленной в 64 в статье), как показано выше.

В конкретном контексте перевода, на котором была сосредоточена статья, матрицы запросов и ключей обычно представляются в виде эмбеддингов, соответствующих исходному языку, в то время как матрица значений соответствует целевому языку.

Многоголовочное внимание

В механизме самовнимания запросы (Q), ключи (K) и значения (V) динамически генерируются для каждой входной последовательности (обычно ограниченной размером контекстного окна), что позволяет модели фокусироваться на разных частях входной последовательности на разных этапах. Многоголовочное внимание улучшает этот процесс, вводя несколько параллельных «голов» внимания. Каждая голова внимания изучает различные линейные проекции матриц Q, K и V. Это позволяет модели одновременно улавливать различные аспекты взаимосвязей между словами в последовательности, а не сосредотачиваться на одном аспекте.

Таким образом, многоголовочное внимание обеспечивает обновление входных эмбеддингов с более разнообразных точек зрения. После вычисления выходных данных внимания от всех голов они конкатенируются и проходят через заключительное линейное преобразование для генерации выходных данных.

Позиционное кодирование

Поскольку модель Трансформера не является моделью seq2seq и не полагается на последовательность текста для выполнения кодирования и декодирования, в статье использовались синусоидальные и косинусоидальные волновые функции для кодирования позиции токена в эмбеддинг. Методы, представленные в статье, обсуждаются ниже:

${\displaystyle PE_{({\rm {pos}},2i)}=\sin({\rm {pos}}/{10000}^{2i/d_{\rm {model}}})}$

${\displaystyle PE_{({\rm {pos}},2i+1)}=\cos({\rm {pos}}/{10000}^{2i/d_{\rm {model}}})}$

где ${\displaystyle {\rm {pos}}}$, ${\displaystyle i}$, ${\displaystyle {d_{\rm {model}}}}$ соответствуют позиции слова, текущему индексу размерности и размерности модели соответственно. Синусоидальная функция используется для чётных индексов эмбеддинга, а косинусоидальная — для нечётных. Полученный эмбеддинг ${\displaystyle PE}$ затем добавляется к слову на соответствующей позиции относительно текущего контекстного окна. В статье особо отмечается, почему был выбран этот метод:

«Мы выбрали синусоидальную версию, потому что она может позволить модели экстраполировать на последовательности длиннее, чем те, которые встречались во время обучения»^[1].

Хотя основной задачей статьи на тот момент было улучшение машинного перевода, в ней также обсуждалось использование архитектуры для синтаксического анализа по составляющим английского языка как с ограниченными, так и с большими наборами данных. Модель достигла высоких результатов без специальной настройки для этой задачи, что указывало на её перспективность для широкого круга задач seq2seq общего назначения.

Набор данных

Модель для перевода с английского на немецкий обучалась на наборе данных WMT (Workshop on Statistical Machine Translation) 2014 года для пары английский-немецкий, состоящем почти из 4,5 миллионов предложений, взятых из выступлений TED Talks и высококачественных новостных статей. Отдельная модель перевода обучалась на гораздо большем наборе данных WMT 2014 года для пары английский-французский, состоящем из 36 миллионов предложений. Оба набора данных были закодированы с использованием кодирования парами байтов (BPE).

Аппаратное обеспечение

Модели обучались с использованием 8 GPU NVIDIA P100. Базовые модели обучались в течение 100 000 шагов, а большие модели — в течение 300 000 шагов. Каждый шаг занимал около 0,4 секунды для базовых моделей и 1,0 секунды для больших моделей. Обучение базовой модели заняло в общей сложности 12 часов, а большой — 3,5 дня. И базовая, и большая модели превзошли самые современные на тот момент (2017 год) результаты как для англо-немецкого, так и для англо-французского перевода, при этом имея сравнительно наименьшие затраты на обучение^[1]. Оценочная стоимость вычислений составила 0,089 петафлопс-дней^[14].

Гиперпараметры и регуляризация

Для своей 100-миллионнопараметрической модели Трансформера авторы линейно увеличивали скорость обучения в течение первых 4000 шагов (разогрев), а затем уменьшали её пропорционально обратному квадратному корню от номера текущего шага. Слои исключения (dropout) применялись к выходу каждого подслоя перед нормализацией, к суммам эмбеддингов и к позиционным кодировкам. Коэффициент dropout был установлен на 0,1. Применялось сглаживание меток со значением 0,1, что «улучшает точность и оценку BLEU»^[1].

• Uszkoreit, Jakob. Transformer: A Novel Neural Network Architecture for Language Understanding (англ.). research.google (31 августа 2017). Дата обращения: 9 августа 2024. Сопутствующая запись в блоге Google Research.