Stanford выложил в открытый доступ ИИ, который не пишет по словам

Описание: Стэнфордский университет открыл исходный код NCM — искусственного интеллекта, который не пишет текст пословно. Он сначала создает черновик всего абзаца, что до 31 раз быстрее, чем лучшая модель распространения текста.

NCM (Next-Concept Modeling, от Hazy Research в Стэнфорде) — это параллельная модель генерации текста от грубого к точному: вместо предсказания следующего токена она заполняет лестницу уровней «концепции», по одному вызову модели на каждый уровень, поэтому для текста из 128 токенов требуется 12 вызовов вместо 128. Все показатели скорости — это собственные измерения авторов по сравнению с самой сильной моделью распространения языка того же небольшого размера на одном H100: 31 раз быстрее на резюме соответствующего качества, 21 раз быстрее на коротких новостных текстах, 10 раз быстрее на веб-текстах (10-31 раз в целом). Время работы модели, описывающей текст пословно, никогда не измерялось, поэтому ничто здесь не говорит о том, что она быстрее, чем ChatGPT. По сравнению с базовыми показателями, представленными в статье (резюме и перевод из работы Ху и др., судоку из работы Агарвала и др.), она создает лучшие резюме за 9 вызовов вместо 64 (в статье печатается 8; первый автор подтвердил ошибку на единицу) и решает 86% сложных судоку против примерно 1%, но хуже с переводом (22,6 против 25,2 BLEU, совпадая только при 132 вызовах против 64), а собственный пословный рассказчик авторов такого же размера пишет лучшие короткие рассказы. «Одинаковый размер» — это приблизительная оценка: NCM составляет 88 млн против 99 млн по резюме и 120 млн против 99 млн по переводу. Вердикт: реальная идея с реальным кодом MIT и девятью небольшими контрольными точками задач (нет модели чата; контрольная точка OpenWebText еще не загружена), никогда не сравнивалась по времени с используемыми вами моделями. Независимый повторный запуск подтвердил показатели качества; Скорость соответствовала только тем оптимизациям, которые отсутствуют в выпущенном коде, а в версии для Mac использовался необъединенный патч от сообщества. Между тем, языки программирования с диффузией уже масштабируются, например... Меркурий 3 из фильма «Начало».

ВРЕМЕННЫЕ МЕТКИ
0:00 - Два способа написать одну и ту же историю
0:15 - Цикл «одно слово за раз»
0:38 - Сначала эскиз, потом слова
1:22 - Кто это построил и как работает лестница
1:51 - История Тима, обретающая чёткость
2:17 - Показатель секундомера и его базовая линия
2:43 - Против модели «слово за словом»
3:26 - Что вы можете использовать сегодня
3:50 - Вердикт

ССЫЛКИ И РЕСУРСЫ
Статья (arXiv): https://arxiv.org/abs/2610.14162
Статья (HTML, таблицы): https://arxiv.org/html/2610.14162v1
Код (MIT): https://github.com/HazyResearch/ncm
Контрольные точки: https://huggingface.co/hazyresearch/n...
Пример анимации авторов: https://github.com/HazyResearch/ncm/b...
Блог Hazy Research: https://hazyresearch.stanford.edu/blo...
Блог Scaling Intelligence Lab: https://scalingintelligence.stanford....
Независимый повторный запуск и ответы авторов (выпуск 9): https://github.com/HazyResearch/ncm/i...
Патчи сообщества для Mac/CPU (не объединены): https://github.com/HazyResearch/ncm/i... и https://github.com/HazyResearch/ncm/i...
Ху и др. (Источник сводки и базовых показателей перевода): https://arxiv.org/html/2605.10938
«Меркурий 3» из «Начала» на Hacker News: https://news.ycombinator.com/item?id=...

БОЛЬШЕ НА ЭТОМ КАНАЛЕ
Как агенты ИИ на самом деле используют инструменты (модель никогда их не вызывает):    • How AI Agents Actually Use Tools (The Mode...  
Исследование XERJ: выходные токены Клода сокращаются в 2,7 раза на невидимом коде:    • This Free Code Search Cuts Claude Code's O...  

ТЕГИ
#NCM #OpenSourceAI #LanguageModels #AIResearch