بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
ألف وخمسمائة توكن في الثانية الواحدة من بطاقة رسومية واحدة — هذا ما حققه DiffusionGemma، النموذج التجريبي الجديد من غوغل الذي يُعيد تعريف العلاقة بين سرعة التوليد وجودة النتائج في نماذج اللغة الكبيرة. (وفقاً للتقرير التقني المنشور على arXiv)
المفارقة الجوهرية في هذا النموذج أنه لا يولّد النص كلمةً كلمة كما تفعل نماذج الـ LLM الاعتيادية، بل يعالج 256 توكناً دفعةً واحدة بأسلوب يُشبه “التنقيح التكراري” — يبدأ من ضجيج عشوائي ثم يُصفّيه تدريجياً حتى يصل إلى نص متماسك. هذا الأسلوب يُعرف بـ discrete diffusion، وهو المبدأ ذاته المستخدم في نماذج توليد الصور لكنه يُطبَّق هنا على اللغة المكتوبة. (وفقاً لـ arXiv)
البنية التحتية للنموذج تستحق وقفة: DiffusionGemma لم يُبنَ من الصفر، بل جاء عبر fine-tuning لنموذج Gemma 4 بتقنية mixture-of-experts، الذي يضم 3.8 مليار معامل نشط و25.2 مليار معامل إجمالية. والأهم أن عملية التدريب بأكملها استهلكت أقل من 10% من ميزانية التدريب الأصلية للنموذج الأساسي، ما يجعل هذا النهج فعّالاً حسابياً بشكل لافت. (وفقاً للتقرير التقني لـ DiffusionGemma)
جرى التدريب على مرحلتين متمايزتين: الأولى اعتمدت على supervised fine-tuning لتعليم النموذج “إزالة الضجيج ثنائي الاتجاه”، والثانية جمعت بين التعلم المعزز وtechnique تُسمى sampler distillation لتحسين جودة التوليد وكفاءة الاستدلال معاً في خطوة واحدة. هذا التصميم المزدوج هو ما يُفسّر قدرة النموذج على تحقيق توازن استثنائي بين السرعة والدقة. (وفقاً لـ arXiv)
أرقام الأداء التي رصدها الفريق تكشف عن فجوة واسعة مع المنافسين: في المتوسط عبر مجموعة التقييم الكاملة، يُنتج النموذج نحو 20 توكناً لكل forward pass، وتصل السرعة الإجمالية إلى 1,500 توكن في الثانية على H100 واحدة — متفوقاً على نماذج الـ autoregressive التقليدية حتى حين تستخدم تقنية speculative decoding الأكثر تطوراً. وبحسب الفريق، يُرسي النموذج “حدوداً Pareto جديدة” في المقايضة بين سرعة التوليد وقدرة النموذج. (وفقاً للتقرير التقني لـ DiffusionGemma)
ما يجعل هذا النموذج أكثر إثارةً للاهتمام من الناحية العملية هو ما احتفظ به من قدرات النموذج الأصلي: يدعم DiffusionGemma وضع “التفكير المعمّق” (thinking mode)، والمدخلات متعددة الوسائط، والسياقات الطويلة — وكلها ميزات مصدرها Gemma 4. والأكثر أهمية أن النموذج لا يزال قادراً على التوليد بالطريقة الاعتيادية autoregressive مع تراجع طفيف في الأداء، ما يُلمح إلى إمكانية بناء نماذج هجينة تجمع بين نهجَي diffusion والـ autoregressive في منظومة واحدة. (وفقاً لـ arXiv)
هنا يكمن السؤال الفعلي: هل هذا تحوّل حقيقي في بنية نماذج اللغة أم مجرد تسريع في حالة استخدام بعينها؟ التقرير التقني حذر ويصف DiffusionGemma بأنه “تجريبي”، وهو تحفّظ لا ينبغي تجاهله. الأداء الذي يتجاوز الـ autoregressive يظهر في سياقات محددة، وستحدد مقارنات مستقلة مدى قابلية هذه النتائج للتعميم على مهام متنوعة. لكن في المقابل، الحقيقة التي يصعب دحضها هي أن فريقاً من 43 باحثاً حقّق هذا عبر fine-tuning لا تدريب كامل، بكلفة حسابية تقل عن عُشر التكلفة الأصلية — وهذا وحده يستحق الاهتمام الجدي من أي مطوّر أو باحث يعمل في تسريع الاستدلال.
