Началось с катастрофы: я протестировал Kimi K3 и DeepSeek V4 Pro против передовых моделей

Описание: Мои курсы по ИИ: https://edwarddonner.com/curriculum

--
Репозиторий:
https://github.com/ed-donner/groovebox

Выполните команду 'git checkout' для любой из этих веток для разных версий:
superpowers (DeepSeek V4 Pro), kimi, opus, sol

Плагин superpowers находится здесь:
https://github.com/obra/superpowers
--

У кого-то хватило наглости прокомментировать мое последнее видео, что я даю Coding Agents задания попроще! Ладно, может быть, в этом есть доля правды. Вызов принят! Я разработал невероятно сложное задание по визуальному и звуковому кодированию для Kimi K3, DeepSeek, Claude Opus и GPT 5.6 Sol.

Моя цель заключалась в том, чтобы показать, что можно получить хорошие результаты и с более дешевыми моделями.

Все пошло не по плану.


Первые результаты были настолько катастрофическими, что причинили мне физическую боль! Боль, от которой скрежетали ногтями по доске.

Я применил 3 метода, чтобы получить лучшие результаты от недорогих моделей:

1. Использование плагина Superpowers в OpenCode
2. Инженерия использования ресурсов: конвейер самооценки
3. Ручной цикл Ральфа

Результаты оказались менее мучительными. Но всё ещё далеки от Opus и Sol.

Затем последовал приятный поворот благодаря Кими К3.

В этом видео много всего: 4 модели, 3 агента кодирования, 16 аудиовыходов.
Чего в нём нет?
Одной-единственной задачи на софтбол.

-

00:00 Может ли ИИ с открытым исходным кодом превзойти передовые модели?

00:42 Почему DeepSeek V4 Pro потерпел неудачу
02:36 GPT-5.6 Sol (Codex) против Claude Opus 5
05:30 Как улучшить агентов ИИ в программировании
05:52 Работают ли самооценивающиеся агенты ИИ?

07:34 Стал ли DeepSeek V4 Pro лучше?

08:52 Является ли Kimi K3 лучшей моделью программирования с открытым исходным кодом?

10:10 Claude Opus 5 против Kimi K3 против GPT-5.6 Sol
10:47 Почему дешевые модели ИИ могут стоить дороже
11:34 Какую модель ИИ следует использовать?

--

Список лучших инструментов, агентов и концепций, обсуждаемых в этом видео:

Claude Opus 5
Kimi K3
DeepSeek V4 Pro
GPT-5.6 Sol
Агенты для ИИ-программирования
ИИ с открытым исходным кодом
Бенчмарк ИИ-программирования
Codex
Claude Code
Оценка агентов ИИ
Сравнение стоимости моделей ИИ