Для чего в архитектуре Transformer присутствует компонента Position - Ответ на вопрос №14993

Вопрос

Для чего в архитектуре Transformer присутствует компонента Position Embedding?
Как и RNN-архитектура Transformer подвержена проблеме затухающих градиентов при больших длинах последовательности, добавление Position Embedding позволяет решить эту проблему.
Как и RNN-архитектура Transformer требует одинаковой длины входной последовательности, добавление Position Embedding позволяет решить эту проблему.
В отличие от RNN-архитектура Transformer не учитывает порядок слов, добавление Position Embedding в архитектуру направлено на решение данной проблемы: входные вектора, а следовательно и Attention (Self-Attention) для них начинают меняться в зависимости от порядка слов.
При добавлении Position Embedding мы намерено зануляем ячейки в матрице Attention для слов, которые следуют за текущим словом в предложении, тем самым мы решаем проблему "заглядывания в будущее".

Ответ