# نماذج لغوية جديدة كتولد النصوص بطريقة مختلفة كليًا
شركة Nvidia طرحت مشروع Nemotron-Labs Diffusion، وهو نهج جديد فعالم نماذج اللغة الكبيرة كيتحدى الطريقة التقليدية ديال توليد النصوص اللي سيطرات على القطاع من سنين.
كيفاش كتشتغل النماذج التقليدية
النماذج اللغوية الكبيرة المعروفة بـ LLMs كتولد النصوص بطريقة تسمى autoregressive، يعني كل token كيتولد وحدو، ومحتاج يكمل اللي قبلو باش يقدر يظهر. هاد الأسلوب كان ناجح بزاف وكان وراء أغلب التقدم اللي شفناه فالسنين الأخيرة.
المشكل التقني اللي كيطرحو الباحثون هو أن كل token جديد كيحتاج model pass كامل، يعني المعالج GPU خاصو يحمل كولشي من الذاكرة قبل ما يبدا يحسب. هاد الشي كيخلي الوقت ديال GPU كيضيع فعمليات الذاكرة أكثر من الحساب الفعلي.
مشكلة أخرى: إلا وقع خطأ فتوليد token معين، النموذج ما عندوش القدرة يرجع يصلحو، وهاد الغلط كيمشي يتراكم فباقي النص.
الحل الجديد: توليد متوازي مع تصحيح تدريجي
نهج Nemotron-Labs Diffusion كيشتغل بطريقة مختلفة: بدل ما يولد token وحدو وحدو، كيولد عدة tokens فنفس الوقت، ومن بعد كيمشي يصقل ويصحح بشكل تدريجي.
هاد الأسلوب مقتبس من نماذج Diffusion اللي كنا شافينها قبل فتوليد الصور، ولكن هنا مطبق على النصوص. الفكرة الأساسية هي إن التوليد ما يكونش خطي وما يكونش نهائي من أول مرة.
الاستخدامات المستهدفة
المشروع مصمم بالخصوص للمطورين اللي كيشتغلون على تطبيقات حساسة للسرعة. المجالات اللي ذكرتهم المصادر شاملة توليد الكود، حل مسائل الرياضيات، التلخيص، وفهم الوثائق.
كذلك، المطورين اللي كيشتغلون بـ batch sizes صغيرة أو كيحاولوا يستغلوا GPUs الحديثة بشكل أحسن، هوما أكثر من كيستفيدوا من هاد النهج.
شنو كيعني هاد الخبر للقطاع
هاد التطور كيفتح نقاش جديد فعالم البنية التحتية لنماذج اللغة. الأسلوب autoregressive كان دائماً هو المعيار السائد، وأغلب الأدوات والبنيات كتبنات عليه.
إلا نجح نهج Diffusion فالنصوص بالشكل اللي نجح به فالصور، ممكن يتبدل تصميم كيفاش كتشتغل النماذج اللغوية من الداخل، وهاد الشي ممكن يأثر على سرعة التطبيقات، تكلفة الخدمة، وطريقة تصحيح الأخطاء فالتوليد. المشروع لازال فمرحلة البحث، ولكن الاهتمام اللي كيلقاه كيبين أن القطاع بدا يدور على بدائل عملية للنهج التقليدي.
مقال من databelarebia — نشرة يومية ديال أخبار الذكاء الاصطناعي بالدارجة المغربية