الدرس في 30 ثانية

• النموذج يقطّع النص إلى «رموز» (tokens): كلمات كاملة أو أجزاء كلمات.
• كل رمز يتحوّل إلى رقم، لأن الشبكة لا تعرف إلا الأرقام.
• نفس الجملة قد تحتاج رموزاً أكثر بالعربية منها بالإنجليزية.

افهم

تذكّر: الشبكة العصبية تحسب بالأرقام فقط. إذن قبل أي شيء، يجب تحويل النص إلى أرقام.

الحلّ: نقطّع النص إلى قطع اسمها رموز (tokens). كلمة شائعة مثل «the» = رمز واحد. كلمة نادرة تُقطّع إلى قطع: «تيليفونات» قد تصبح «تيلي + فون + ات».

كل رمز له رقم في «قاموس» النموذج. «صباح الخير» تصبح مثلاً سلسلة أرقام، والنموذج يخمّن الرقم التالي.

لماذا يهمّك هذا؟ لأن النموذج له حدّ من الرموز يقرأها مرة واحدة، والخدمات المدفوعة تحسب بالرمز. والعربية والدارجة تُقطّع أكثر.

نتيجة طريفة: بما أنه يرى قطعاً وليس حروفاً، أحياناً يخطئ في عدّ الحروف داخل كلمة! جرّب اليوم.

هل تعلم؟

دراسة من جامعة أكسفورد (2023) وجدت أن «مقطّع» ChatGPT يحتاج حوالي 3 أضعاف الرموز لكتابة نفس النص بالعربية مقارنة بالإنجليزية. والشركات التي تحسب السعر بالرمز… تأخذ أكثر!

جرّب على هاتفك: Gemini

• افتح Gemini واسأله: «كم حرف (ر) في كلمة: الجزائريين؟» ثم عدّها أنت. هل أصاب؟
• اطلب: «قطّع جملة: صباح الخير يا جماعة، إلى رموز (tokens) تقريبية كما يفعل نموذج لغة».
• اطلب نفس الشيء لـ «Good morning everyone». قارن عدد القطع.
• اسأله: «لماذا يصعب عليك عدّ الحروف أحياناً؟» واقرأ شرحه.

بالدزيري

شات جي بي تي ما يشوفش حروف، يشوف طروف اسمهم توكنز. كل طرف يولّي رقم. والعربية تتقطّع أكثر من الإنجليزية، وهكا ساعات يغلط حتى في حساب الحروف!

أسئلة شائعة