La leçon en 30 secondes

• Le modèle découpe le texte en « tokens » : des mots entiers ou des morceaux de mots.
• Chaque token devient un nombre, car le réseau ne connaît que les nombres.
• La même phrase peut demander plus de tokens en arabe qu’en anglais.

Comprendre

Rappel : un réseau ne calcule qu’avec des nombres. Donc avant tout, il faut transformer le texte en nombres.

La solution : découper le texte en morceaux appelés tokens. Un mot courant comme « the » = un token. Un mot rare est coupé : « téléphonera » peut devenir « télé + phon + era ».

Chaque token a un numéro dans le « dictionnaire » du modèle. « Bonjour à tous » devient une suite de nombres, et le modèle devine le nombre suivant.

Pourquoi ça vous concerne ? Le modèle a une limite de tokens qu’il lit d’un coup, et les services payants facturent au token. Et l’arabe et la darja sont plus découpés.

Conséquence amusante : comme il voit des morceaux et pas des lettres, il se trompe parfois en comptant les lettres d’un mot ! Essayez aujourd’hui.

Le saviez-vous ?

Une étude de l’université d’Oxford (2023) a montré que le « découpeur » de ChatGPT utilise environ 3 fois plus de tokens pour le même texte en arabe qu’en anglais. Et quand on facture au token… ça coûte plus cher !

Essayez sur votre téléphone : Gemini

• Ouvrez Gemini et demandez : « Combien de lettres R dans le mot : CARREFOUR ? » puis comptez vous-même. A-t-il juste ?
• Demandez : « Découpe la phrase : Bonjour tout le monde, en tokens approximatifs comme le ferait un modèle de langage. »
• Faites pareil avec « صباح الخير يا جماعة ». Comparez le nombre de morceaux.
• Demandez : « Pourquoi as-tu parfois du mal à compter les lettres ? » et lisez son explication.

En darja

شات جي بي تي ما يشوفش حروف، يشوف طروف اسمهم توكنز. كل طرف يولّي رقم. والعربية تتقطّع أكثر من الإنجليزية، وهكا ساعات يغلط حتى في حساب الحروف!

Questions fréquentes