La leçon en 30 secondes

• Le modèle a été entraîné sur une masse énorme de textes : sites, livres, encyclopédies, forums.
• Son apprentissage s’arrête à une date (la « date de coupure »), et il ignore la suite sauf s’il cherche sur Internet.
• Ce qui était rare dans ses textes (comme la darja), il le connaît moins bien.

Comprendre

On a vu que ChatGPT devine le mot suivant. Mais pour bien deviner, il faut avoir énormément lu.

La première étape s’appelle le pré-entraînement : le modèle lit des milliards de phrases d’Internet et de livres et joue au « mot suivant » sur tout ça, pendant des mois.

Puis une seconde étape : des humains écrivent des exemples de bonnes réponses et notent les siennes, pour en faire un assistant poli et utile au lieu d’une machine qui complète des textes.

Important : l’apprentissage s’arrête à une date. Ce qui s’est passé après, il l’ignore, sauf s’il cherche sur Internet pendant la conversation (Gemini le fait parfois).

Important aussi : il connaît bien ce que les gens ont beaucoup écrit (anglais, français, arabe standard), et moins bien ce qui est peu écrit : la darja, l’histoire de votre village, les prix de votre marché.

Le saviez-vous ?

Le modèle GPT-3 (2020) a été entraîné sur environ 300 milliards de tokens de texte. En lisant 250 mots par minute sans jamais vous arrêter, il vous faudrait plus de 1 500 ans !

Essayez sur votre téléphone : Gemini

• Demandez à Gemini : « Quelle est ta date de coupure de connaissances ? Et cherches-tu sur Internet pour me répondre ? »
• Posez-lui une question sur une actualité de cette semaine et regardez : a-t-il cherché sur Internet (il affiche des sources) ?
• Demandez en arabe standard : « Que veut dire (يعيشك) ? » puis écrivez-lui une longue phrase en darja. Où comprend-il le mieux ?
• Demandez une chose très locale : « Quel est le plat le plus connu de ma commune ? » (nommez-la). Sait-il, ou devine-t-il ?

En darja

قبل ما يولّي يجاوب، قرا مليارات الجمل وتدرّب يخمّن الكلمة الجاية شهور. ومن بعد ناس علّموه يكون مؤدب ومفيد. بصح العلم تاعو يحبس في تاريخ، والدارجة يعرفها قليل لأنها مكتوبة قليل.

Questions fréquentes