Как модель на 1,5 млрд параметров обошла GPT-4o: дистилляция знаний

Описание: Объяснение процесса дистилляции знаний: как модель ученика с 1,5 миллиардами параметров, обученная с помощью DeepSeek-R1 (671B), победила GPT-4o в математических соревнованиях.
Уязвимые цели, «темные знания» Хинтона, логистическая дистилляция (Llama 3.2) и SFT на выходных данных учителя (DeepSeek-R1-Distill), а также почему лаборатории теперь защищаются от атак дистилляции.

#Shorts #KnowledgeDistillation #deepseek #claude #gpt