Новая комбинация экспертных методов MoE: спектральное разложение в ортогональных подпространствах.

Описание: Наступило новое поколение моделей смешанных экспертов в области ИИ. Теперь мы знаем, почему современные модели смешанных экспертов не превосходят классические проприетарные модели LLM и VLM!

Все права принадлежат авторам:
SD-MoE: Спектральное разложение для эффективной специализации экспертов
Руйцзюнь Хуан 1 2 Фан Дун * 1 Синь Чжан * 1 Хэнцзе Цао 1 Чжэньдун Хуан 1 Аньруй Чен 1 Цзисянь Чжоу 1
Мэнъи Чен 1 Ифэн Ян 1 Минчжи Дун 3 Юйцзян Ван 4 Цзиньлун Хоу 5 Цинь Лю 6 Роберт П. Дик 7
Юань Чэн 5 Фань Ян 8 Тун Лу 1 Чунь Чжан 9 Ли Шан 1
из
1 Колледж компьютерных наук и искусственного интеллекта, Фуданский университет, Шанхай, Китай
2 Национальный центр технологических инноваций Большого залива, Научно-исследовательский институт Университета Цинхуа в Шэньчжэне, Шэньчжэнь, Китай
3 Университет Бата, Бат, Великобритания
4 Оксфордский центр передовых исследований в Сучжоу, Сучжоу, Китай
5 Шанхайский инновационный институт, Шанхай, Китай
6 Кафедра компьютерных наук Наука, Университет Колорадо в Боулдере, Колорадо, США
7 Кафедра электротехники и информатики, Мичиганский университет
8 Школа микроэлектроники, Фуданский университет, Шанхай, Китай
9 Научно-исследовательский институт Университета Цинхуа в Шэньчжэне, Шэньчжэнь, Китай

«Согласованность больших моделей рассуждений при многошаговой атаке»
Юбо Ли, Рамайя Кришнан, Рема Падман
из
Университета Карнеги-Меллона

#машинноеобучение
#следующеепоколение
#поисквуда
#наукаобъясненаучном