OneStreamer: проактивная LLM для потокового видео

Описание: В этом выпуске обзора исследований в области ИИ Алекс обсуждает статью «OneStreamer: объединение восприятия, памяти и проактивного реагирования во взаимодействии с потоковым видео». Большие языковые модели для потокового видео сталкиваются со значительными проблемами, связанными с балансированием восприятия в реальном времени с объемом контекста, необходимого для воспроизведения прошлых событий. Хранение необработанных визуальных токенов быстро исчерпывает пределы памяти, а их удаление мешает моделям отвечать на вопросы о прошлых событиях. Для решения этой дилеммы исследователи представляют OneStreamer — унифицированную модель, которая интегрирует запись доказательств с проактивным взаимодействием, управляемым задачей. Архитектура заменяет необработанную визуальную историю на проактивную иерархическую память подписей, генерирующую структурированные текстовые резюме для сохранения долговременного фактического контекста. В сочетании с проактивным обучением переходу состояний OneStreamer динамически определяет, когда следует молчать, а когда реагировать проактивно. Ссылка на статью: https://arxiv.org/abs/2610.01762 #AI #МашинноеОбучение #ГлубокоеОбучение #ВидеоLLM #ПотоковоеВидео #КомпьютерноеЗрение #МультимодальноеLLM

Ресурсы:
GitHub: https://github.com/MCG-NJU/OneStreamer
Модель Hugging Face: https://huggingface.co/MCG-NJU/OneStr...