Голосовые агенты реального времени с передовым интеллектом — Бохан Ли, EliseAI
Автор: AI Engineer
Загружено: 2026-09-15
Просмотров: 6944
Описание:
Фоновый агент незаметно вызывает инструмент, а затем помещает результат в контекст основной модели, так что модель считает, что вызвала его сама. Этот трюк — один из трех приемов, которые Бохан Ли использует для запуска голосового агента на медленной, по-настоящему интеллектуальной модели, не позволяя звонящему заметить задержку. Ли работает над голосовым оборудованием в EliseAI и пришел из сферы беспилотных автомобилей, и он переносит каскадный голосовой стек в этот мир: транскрипция — это восприятие, языковая модель — планирование, а синтез речи — управление. Затем каждый слой оптимизируется по своим собственным параметрам. Для транскрипции он запускает два движка одновременно: быстрый потоковый, который выдает результат немедленно, и более медленный с большим контекстом, который может его корректировать, причем поздняя коррекция отбрасывается, если уже поступил более новый аудиофайл. Более медленный движок по заданному вопросу определяет, какая часть ответа является именем, а какая — датой рождения.
Прием с синтезом — самый изящный. Кэш префиксов отслеживает выходной поток модели и проверяет, существует ли уже аудиофайл для этой последовательности слов из предыдущего хода. В заготовленном разговоре вступительные фразы постоянно повторяются, поэтому обычно происходит срабатывание кэша, и оператор начинает говорить, пока остальная часть предложения еще пишется. Поставщик синтеза получает все предложение целиком и генерирует его с естественной просодией, не зная, что какая-либо его часть уже была воспроизведена, а наложение звука подавляется, так что две половины соединяются без зазора. Ли завершает разговор воспроизведением реального звонка для записи на прием в клинику, где ничего из этого не слышно.
Информация о докладчике:
https://x.com/bobowchan
/ bohan-li-7290b74a
https://eliseai.com/
Временные метки:
0:00 - Заимствование стека самообслуживания
1:52 - Восприятие: спекулятивный транскриптор
4:24 - Генерация с опережением и вызовы фоновых инструментов
6:06 - Управление: потоковый синтез речи
6:57 - Кэш префиксов
8:37 - Скрытие границы между кэшем и провайдером
10:21 - Полный звонок для записи на прием
---
Смотрите вместе с исправленной стенограммой, резюме, временными метками и ресурсами на официальной странице этого доклада на AIE:
https://ai.engineer/talks/MBHOH1NmDqc...
Присоединяйтесь к нашим предстоящим конференциям AI Engineer (см. https://ai.engineer) (целевая страница):
AIEi Шанхай, 5–6 ноября — первая конференция для встреч с ведущими китайскими лабораториями и инженерами
AIE CODE в Сан-Франциско, 10–12 ноября — возвращается ведущая конференция по программированию в области ИИ
AIEi Сидней, 7–8 декабря — первая конференция AIEi, проводимая параллельно с NeurIPS 2026 в Сиднее
---
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: