【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】

Описание: ▼テーマ
Transformer や BERT で爆発的な利用を獲得した Attention の祖となるネットワーク RNNsearch について解説します。
Attention は自然言語で GPT-3 の化け物的な精度を出したのみならず、画像や生成モデルなど、超広い領域に応用されています。
今の Deep Learning を語る上では外せない要素！　要チェック！

▼関連プレイリスト
Deep Learning の世界    • Deep Learning の世界  

自然言語処理シリーズ    • 自然言語処理シリーズ  

▼目次
(後で追加します。暫くお待ちください)

▼参考文献
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
https://arxiv.org/abs/1409.0473
原論文です！　当時の歴史も含めて、過度に難解でない感じで書いてあるので、読んでみてもいいかも！

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14...
いろいろこれを参考にして動画を作っています

▼参考動画
RNN の動画
→    • 【深層学習】RNN の意味を徹底解説！【ディープラーニングの世界 vol. 8 】 ...  

GRU の動画
→    • 【深層学習】GRU - RNN に記憶をもたせる試みその1【ディープラーニングの世界...  

RNN の3つの使い方（BiGRU のところよくわからなかった人向け）
→    • 【深層学習】RNN の3通りの使い方 - RNN の混乱ポイントを倒す！【ディープラ...  

Bi-LSTM の動画（ Bi-GRU の仲間）
→    • 【深層学習】bi-LSTM - 前後の文脈を利用する Recurrent layer...  


▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter:   / aicia_solid   )
動画編集：AIris Solid (妹) (Twitter:   / airis_solid   )
=======
Logo: TEICAさん (   / t_e_i_c_a   )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん (   / w01fa   )