We need AI to be context learners

Описание: Нам нужен ИИ, способный к контекстному обучению

В документе утверждается, что хотя современные большие языковые модели (БЯМ) превосходно справляются с рассуждениями и прохождением сложных тестов, им принципиально не хватает способности к обучению в реальном времени из непосредственного контекста, что является ключевой человеческой способностью. Подчеркивается «структурное несоответствие», когда БЯМ в основном полагаются на статичные, предварительно обученные знания, в то время как реальные задачи требуют динамической адаптации к изменяющейся информации. Для устранения этого пробела и содействия разработке истинных контекстных учеников, Tencent HY Research представляет CL-bench. Этот бенчмарк разработан для строгой проверки способности БЯМ приобретать и применять новые знания непосредственно из контекста, а не просто вспоминать параметрическую информацию. CL-bench включает 500 сложных контекстов, 1899 задач и 31607 рубрик верификации, тщательно разработанных экспертами в предметных областях. Его центральный принцип дизайна гарантирует, что каждая задача явно требует получения новой информации из предоставленного самодостаточного контекста. Бенчмарк оценивает четыре различных типа сценариев обучения на реальном контексте: рассуждения на основе предметных знаний, применение систем правил, выполнение процедурных задач и эмпирические открытия и симуляции. В конечном итоге, CL-bench призван стимулировать необходимый сдвиг парадигмы в сторону систем ИИ, способных к активному, реальному пониманию и применению контекста.
#ИИ #КонтекстноеОбучение #БЯМ #Бенчмарк #CLbench #Tencent #ЯзыковыеМодели #МашинноеОбучение #СдвигПарадигмы

документ - https://hy.tencent.com/research
подписаться - https://t.me/arxivpaperu
отправить донаты:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM