G comme Generative

Le modèle génère du texte nouveau : il ne copie pas une réponse stockée, il produit sa réponse mot après mot.

P comme Pre-trained

Avant d’être mis à disposition, il a été entraîné sur une très grande quantité de textes pour apprendre comment les mots s’enchaînent. Il est ensuite affiné pour suivre des instructions et dialoguer.

T comme Transformer

C’est l’architecture présentée par des chercheurs de Google en 2017 (« Attention Is All You Need »). Son mécanisme d’attention lui permet de relier chaque mot à tous les autres de la phrase, ce qui l’aide à comprendre le contexte.

Ce qu’il faut retenir

ChatGPT prédit la suite la plus probable d’un texte. C’est pour cela qu’il écrit bien… et qu’il peut aussi se tromper avec assurance : vérifiez toujours les faits importants.

Questions fréquentes