Выдающиеся доклады конференции ICLR 2026: Трансформаторы лаконичны.

Описание: Дисклеймер: Это видео создано с помощью Google NotebookLM.

Трансформеры: краткость и сложность в представлении формальных языков

https://openreview.net/forum?id=Yxz92...

Представленное исследование рассматривает трансформеры как высокоэффективные инструменты для описания сложных концепций, используя краткость в качестве основного показателя их выразительной способности. Авторы демонстрируют, что трансформеры с фиксированной точностью могут представлять определенные формальные языки гораздо компактнее, чем традиционные модели, в частности, обеспечивая экспоненциальную экономию по сравнению с рекуррентными нейронными сетями (RNN) и линейной темпоральной логикой (LTL). Кроме того, они доказывают, что трансформеры могут быть в два раза экспоненциально более лаконичными, чем конечные автоматы, при кодировании определенных шаблонов. Такая экстремальная плотность информации делает проверку свойств трансформеров вычислительно сложной задачей, классифицируемой как EXPSPACE-полная. Установив эти границы, статья показывает, что сила архитектуры заключается не только в том, что она может распознавать, но и в её способности делать это с минимальным количеством параметров. Эта теоретическая основа предоставляет новый взгляд на то, почему трансформеры превосходят альтернативные архитектуры в практическом моделировании языков и формальной верификации.

#ai #research #tranformer