PPO в Reinforcement Learning: почему агент всегда покупает (разбор трейдинг-среды)

Описание: В этом видео мы подключаем PPO (Proximal Policy Optimization) к простой трейдинг-среде Gymnasium и подробно разбираем результаты обучения агента.

Без иллюзий и «волшебных кнопок»:
ты увидишь, почему PPO выбирает стратегию “покупай всегда”, что означают метрики обучения (entropy, explained_variance, loss) и почему алгоритм работает правильно — даже если стратегия выглядит опасной.

Это видео — про реальный Reinforcement Learning, а не про маркетинг.

🔍 В видео разбираем

как PPO обучается в трейдинг-среде

что означают логи обучения stable-baselines3

почему explained_variance = 1 — тревожный сигнал

почему агент перестаёт продавать

как reward формирует поведение агента

где проходит граница между RL и реальным трейдингом

PPO не учится торговать.
Он учится максимизировать reward, который ты сам ему задал.

И если reward плохой — алгоритм будет идеально плохим.

Код из видео:
https://boosty.to/avklimov/posts/e445...

✅️ Кешбэк до 45% на Bybit: https://partner.bybit.com/b/KLIMOVGROUP

✅️ Кешбэк до 45% для уже зарегистрированных аккаунтов Bybit. В поле Реферальный код нужно указать: 52082
https://www.bybit.com/ru-RU/aff-bind?...

Телеграм канал:
https://t.me/klimovgroup

Личка:
https://t.me/AVKlimov

#reinforcementlearning
#ppo
#gymnasium
#rlтрейдинг
#алготрейдинг
#python
#machinelearning
#stablebaselines3
#rl
#aiтрейдинг

00:00 — Введение и цель видео
00:04 — Что мы сделали в прошлом видео (RL + Gymnasium)
00:10 — Сегодняшний шаг: подключаем PPO
00:17 — Важное предупреждение о рисках трейдинга
00:27 — Учебный формат и дисклеймер
00:34 — Кэшбэк 45% на Bybit (партнёрская ссылка)

00:39 — Зачем подключаем PPO к трейдинг-среде
00:45 — PPO не сделает вас прибыльным трейдером
00:51 — Главная цель: понять, как RL учится
00:57 — Что такое PPO простыми словами
01:03 — Почему PPO подходит для трейдинга
01:14 — Почему трейдинг — шумная среда без оптимума

01:19 — Ключевой принцип: среду не меняем
01:24 — Почему сначала меняют модель, а не reward
01:30 — Обзор кода и структура проекта
01:34 — Импорт модулей и stable-baselines3
01:40 — Установка зависимостей
01:48 — Создание PPO-модели
01:55 — MLP Policy и параметры обучения
02:01 — Запуск обучения PPO
02:07 — Почему агент видит только reward

02:14 — Тестируем обученного агента
02:20 — Чем обученный агент отличается от случайного
02:24 — Два типичных поведения PPO в трейдинге
02:29 — PPO оптимизирует reward, а не торговлю

02:54 — Запуск кода и процесс обучения
03:00 — Разбор логов PPO (fps, timesteps, iterations)
03:14 — Почему обучение прошло успешно
03:27 — PPO не учится торговать — ключевой момент

03:34 — Анализ реального поведения агента
03:40 — Почему агент всегда выбирает BUY
03:46 — Разбор шагов и награды
03:53 — Агент терпит просадки и не выходит
04:07 — Стратегия «пересиживания»
04:18 — Финальный PnL и предел reward-схемы

04:23 — Главный вывод: стратегия «Buy & Hold»
04:29 — Почему SELL ухудшает reward
04:35 — Отсутствие штрафов за риск и просадки
04:40 — RL против трейдинга: в чём конфликт
04:45 — Почему это не ошибка PPO
04:52 — Ошибка в дизайне reward

04:58 — Что будем менять дальше
05:04 — Reward только при продаже
05:10 — Анонс следующего видео
05:15 — Лайк, подписка и курс по алготрейдингу
05:26 — Завершение