Coder un Transformer avec Tensorflow et Keras (LIVE)

Описание: Dans la dernière vidéo j'introduis les mécanismes d'attention, l'architecture transformer ainsi que le papier Attention is all you need. Dans ce LIVE nous passons à la pratique et codons ensemble un Transformer avec Tensorflow et Keras !

Google colab du live:
https://colab.research.google.com/dri...

00:00 Intro
04:00 Data
20:00 Scaled dot product attention
43:00 Encoder
49:00 Multi Head Attention
49:00 Multi Head Attention
01:14:00 Masked multi head
01:14:00 Masked multi head
01:48:00 Decoder
02:10:00 Pos encoding
02:15:00 Prediction

Pour suivre au mieux la vidéo, le cours théorique suivant sur les Transformer est recommandée:
   • Comprendre les Transformers et les mécanis...  

Ainsi que les vidéos suivantes:
Pour aider à aborder les notions de cette vidéo :
Comment passer le test de Turing ? Traitement automatique du langage (NLP)    • Comment passer le test de Turing ? Traitem...  
Comprendre les réseaux de neurones récurrents (RNN)    • Comprendre les réseaux de neurones récurre...  
Comprendre les LSTM - Réseaux de neurones récurrents
   • Comprendre les LSTM - Réseaux de neurones ...  

Slides: https://docs.google.com/presentation/...
Attention is all you need: https://arxiv.org/abs/1706.03762




About me:
Visual Behavior : https://visualbehavior.ai/
Github: https://github.com/thibo73800
Medium:   / thibo73800  
Twitter:   / thiboneveu