V8 Transformer Chap 2

Описание: Le type de raisonnement esquissé dans la vidéo précédente est conceptuellement analogue à la démarche d'un transformer, c’est-à-dire le cœur d’un GPT.
Par son mécanisme d'attention, le transformer arrive en effet à décortiquer le contexte des mots de la phrase et à en déduire la probabilité d'apparition du mot suivant et continuer le processus mot à mot.

Clarifions les idées : un transformer s’appuie sur un vaste vocabulaire préentraîné, composé de dizaines de milliers de mots, chacun associé à un ensemble de traits caractéristiques.

Ce vocabulaire est appelé matrice d'imbrication par les spécialistes du domaine.
D'autre part existe dans une session d'usage du GPT une fenêtre de contexte contenant les mots de la phrase en cours de génération. C’est ce que l’on appelle le prompt, la demande que vous avez formulée.
Les mots du vocabulaire ont un contexte, des proximités sémantiques et fréquentielles, comme dans un dictionnaire. Ainsi le mot roi aura une proximité avec les mots couronne, palais, trône… Mais il n'y a aucune raison pour dégager une proximité entre roi et sofa. Le transformer, dans ses nombreuses passes successives, dégagera peut-être une telle proximité dans le texte soumis ou généré et en enrichira le mot roi dans la fenêtre de contexte. En revanche, roi ne sera jamais modifié dans le vocabulaire.

À l'entrée du transformer, le processus commence par extraire du vocabulaire une liste de traits pour chaque mot de la phrase soumise. Cette opération est appelée imbrication et les listes résultantes s'appellent vecteurs d'imbrication. Afin de ne pas rentrer dans des considérations mathématiques, je continuerai à parler de listes de traits.

https://www.amazon.fr/dp/B0FZC75NW2

#artificialintelligence #intelligenceartificielle #gpt #conscience