Saison 1 · Jour 28 : Pourquoi se fait-elle piéger ? Les limites des réseaux
Une photo de panda. On ajoute une « poussière » si fine que l’œil ne la voit pas. Le réseau dit, sûr à 99 % : « un gibbon ». Comment une IA qui reconnaît des millions d’images se fait-elle piéger ?

La leçon en 30 secondes
- Le réseau ne « comprend » pas comme nous : il repère des motifs dans les nombres.
- De tout petits changements dans les nombres peuvent renverser sa réponse, même si l’image ne change pas à nos yeux.
- D’où la règle : pas de confiance aveugle. L’IA est un outil puissant, mais elle se trompe avec assurance.
Comprendre
Cette semaine, on a vu la force des réseaux. Aujourd’hui, leur point faible, parce qu’un utilisateur malin connaît les limites de son outil.
Rappel : une image, ce sont des nombres, et le réseau voit des motifs dans les nombres, pas un « panda » au sens où nous l’entendons.
Si on change les nombres d’une façon calculée, même très peu, on peut faire passer l’image d’une case à l’autre pour le réseau, sans qu’elle change à nos yeux.
Parfois, le réseau apprend aussi un raccourci faux : il reconnaît une « vache » à l’herbe verte autour, et devant une vache sur la plage… il ne la reconnaît plus !
La leçon : l’IA se trompe avec assurance. « 99 % » ne veut pas dire qu’elle a raison. Pour les décisions importantes (santé, argent, justice), un humain vérifie toujours.
Le saviez-vous ?
Dans une expérience célèbre en 2014, un réseau classait une photo de panda à 57,7 %. Après ajout d’un bruit invisible, il y voyait un « gibbon » à 99,3 %, alors que les deux images sont identiques pour un humain.
Essayez sur votre téléphone : Google Lens
- Ouvrez Google Lens et visez un verre ou un stylo sur la table : notez sa réponse.
- Maintenant compliquez-lui la tâche : objet à l’envers, à moitié caché par votre main, dans une ombre forte, ou à côté d’objets bizarres.
- Essayez avec le dessin caricatural d’un animal. Le reconnaît-il ?
- Notez : quand s’est-il trompé ? Et s’est-il trompé en ayant l’air « sûr » ?
En darja
الذكاء الاصطناعي يشوف أرقام، ماشي باندا. نبدلو الأرقام شوية برك، يقلب الجواب. وساعات يتعلم طريق مختصر غالط: البقرة مع الحشيش. الخلاصة: يغلط وهو متأكد، والإنسان لازم يراجع.
Questions fréquentes
Que voit le réseau dans la photo du panda ?
Des motifs dans des nombres
Une confiance de 99 % signifie que la réponse…
peut quand même être fausse
Pour les décisions importantes (santé, argent)…
un humain vérifie toujours
À lire aussi
Saison 1 · Jour 27 : Révision de la semaine 4 : dessinez votre réseau
Le neurone : il additionne les informations multipliées par leurs poids, et compare à un seuil. Le réseau : des neurones en couches, du simple (traits) au…
Lire l’article
Saison 1 · Jour 29 : Le jeu du « mot suivant » : le secret de ChatGPT
ChatGPT et Gemini sont des « modèles de langage » : ils devinent le mot suivant le plus probable. Ils écrivent la réponse mot après mot, chaque nouveau mot…
Lire l’article
Saison 1 · Jour 26 : L’entraînement : des tours et des tours d’exemples
Un passage complet sur tous les exemples s’appelle une « époque » (epoch). À chaque époque, l’erreur baisse et le réseau progresse. Trop d’époques = il…
Lire l’article