Технологии
Transformer
Архитектура нейросети на основе механизма внимания; основа почти всех больших языковых моделей.
В главах книги
События
-
«Внимание — всё, что нужно»: появляется Transformer, на котором вырастет ChatGPT
В июне 2017 года восемь исследователей, в основном из Google, предложили новый способ устройства нейросетей — Transformer. Тогда это выглядело как работа про машинный перевод. Сегодня на этой идее построены почти все чат-боты, включая ChatGPT.