В чем заключается основная идея слоя Self-Attention? - Ответ на вопрос по АД №14994

Вопрос

В чем заключается основная идея слоя Self-Attention?
Self-Attention — это стандартный слой attention , где в качестве вектора query выступают слова из следующего предложения.
Self-Attention — это стандартный слой attention , где в качестве вектора query Выступают слова из предыдущего предложения.
Self-Attention — это стандартный слой attention , где в качестве вектора query выступают слова из того же предложения, на которым мы фокусируемся в текущий момент обучения сети.

Ответ