ChatGPT od środka: jak naprawdę działa LLM?

Описание: Dołącz do newslettera i pobierz ebooka z rozszerzonym opracowaniem filmu (link w mailu powitalnym) - https://olafsulich.pl/

Korzystamy z AI na co dzień, często nie zastanawiając się, jak naprawdę powstają odpowiedzi. To tylko komputerowy algorytm, czy nowy gatunek inteligentnych maszyn?

Asystenci tacy jak ChatGPT działają w oparciu o duże modele językowe (LLM). W tym filmie rozkładamy je na czynniki pierwsze: z czego są zbudowane, jak są trenowane i dostrajane tak, żeby odpowiadać jak ludzie.

Nie bój nic, nie musisz znać matematyki ani programowania, żeby ogarnąć całość :)


Wpadnij też na:
Instagram:   / olaf.sulich  
Linkedin:   / olaf-sulich  
Newsletter: https://www.olafsulich.pl/

Źródła:
OpenAI in Deal Talks That Would Value the Company at $500 Billion - The New York Times
https://www.nytimes.com/2025/08/19/te...

Musk’s AI startup sues OpenAI and Apple over anticompetitive conduct - The Guardian
https://www.theguardian.com/technolog...

AI startup Anthropic agrees to pay $1.5bn to settle book piracy lawsuit - The Guardian
https://www.theguardian.com/technolog...

FineWeb
https://huggingface.co/spaces/Hugging...

CommonCrawl
https://commoncrawl.org/

Neural Machine Translation of Rare Words with Subword Units
https://arxiv.org/abs/1508.07909

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
https://arxiv.org/abs/1810.04805

GPT-4 Technical Report
https://arxiv.org/abs/2303.08774

Language Models are Unsupervised Multitask Learners
https://cdn.openai.com/better-languag...

A New Algorithm for Data Compression
https://www.derczynski.com/papers/arc...

Language Models are Few-Shot Learners
https://arxiv.org/abs/2005.14165

Attention Is All You Need
https://arxiv.org/abs/1706.03762

LLM Visualization
https://bbycroft.net/llm

Efficient Estimation of Word Representations in
Vector Space
https://arxiv.org/abs/1301.3781

Training Compute-Optimal Large Language Models
https://arxiv.org/abs/2203.15556

The Llama 3 Herd of Models
https://arxiv.org/abs/2407.21783

Training language models to follow instructions
with human feedback
https://arxiv.org/abs/2203.02155

Fine-Tuning Language Models from Human Preferences
https://arxiv.org/abs/1909.08593

RLAIF vs. RLHF: Scaling Reinforcement Learning
from Human Feedback with AI Feedback
https://arxiv.org/abs/2309.00267

Direct Preference Optimization: Your Language Model is Secretly a Reward Model
https://arxiv.org/abs/2305.18290

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via
Reinforcement Learning
https://arxiv.org/abs/2501.12948


Fragmenty materiały wideo w filmie:
Garry Kasparov: IBM Deep Blue, AlphaZero, and the Limits of AI in Open Systems | AI Podcast Clips
   • Garry Kasparov: IBM Deep Blue, AlphaZero, ...  

AlphaGo - The Movie | Full award-winning documentary
   • AlphaGo - The Movie | Full award-winning d...  

Introducing GPT-5
   • Introducing GPT-5  

Apps in ChatGPT
   • Apps in ChatGPT  

President Trump Delivers Remarks and Signs Executive Orders at AI Summit
   • President Trump Delivers Remarks and Signs...  

Elon Musk Is Going Ahead with OpenAI Lawsuit
   • Elon Musk Is Going Ahead with OpenAI Lawsuit  

Do stworzenia tło miniatury użyłem "Apple's M4 Chip Grapic by crinzip" z Figma Community.

Rozdziały:
00:00 Wstęp
01:28 Wprowadzenie do AI
02:50 LLM - duży model językowy
03:13 Dane treningowe
05:35 Tokenizacja
08:25 Cel treningu
11:04 Transformer
12:22 Ebook
13:04 Architektura modelu
17:15 Parametry i proces treningu
20:27 Model bazowy
21:21 Tworzenie asystenta
25:20 Generowanie odpowiedzi
28:52 Podsumowanie

Szczególne podziękowania dla mojego przyjaciela Andrzeja, bez którego ten film by nie powstał w takiej formie. Dziękuję za spędzone godziny nad pomocą z dźwiękiem, montażem, miniaturką i za nauczenie mnie mnóstwa rzeczy 🧡