LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

Описание: В этом видео мы проводим техническое сравнение больших языковых моделей (LLM) и классических подходов машинного обучения для задач обработки естественного языка (NLP). Разбираем, действительно ли LLM (например, GPT, Claude, Llama) являются универсальным решением для всех сценариев, или маркетинговый ход преобладает над технической эффективностью.

На примере реальной бизнес-задачи, мультиклассовой классификации товаров по степени опасности, мы сравнивнили подходы:
1. Дообученная GPT-модель (Fine-tuned LLM).
2. Маленький трансформер BERT, который отлично подходит для классификации текста.
3. Классический подход с использованием векторизации TF-IDF в паре с моделью XGBoost.

Смотрите полное видео для того, чтобы узнать, каких результатов у нас получилось добиться!

00:00 - Ранние подходы к NLP и переход в векторам
01:40 - Революция Трансформеров и концепция LLM
03:20 - ML vs LLM. Обзор классических подходов машинного обучения
05:00 - Методы векторизации: бинарные, TF-IDF, Word2Vec
06:20 - Маленькие модели-трансформеры (BERT)
08:25 - Большие языковые модели (LLM)
11:45 - Задача: Классификация опасных товаров
18:50 - LLM - это прогресс или маркетинг? (Q&A)
23:10 - Вывод