بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
المشكلة معروفة لكل من يعمل في post-training للنماذج الكبيرة: التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) يُنتج نماذج استدلال أفضل، لكنه مُكلف بشكل مبالغ فيه لأنه يستلزم توليد آلاف الـ rollouts من النموذج الكبير ذاته في كل مرحلة تدريب. فريق بحثي من عشرة باحثين نشر على arXiv في السادس من يوليو 2026 طريقة بديلة تقلب هذه المعادلة: شغّل RLVR على نموذج صغير رخيص، ثم انقل ما تعلّمه إلى النموذج الأقوى بدلاً من إعادة الدورة بالكامل.
الفكرة الجوهرية في Direct On-Policy Distillation (Direct-OPD) ليست التقطير التقليدي. المشكلة مع التقطير المباشر من النموذج الصغير بعد التدريب أن السياسة النهائية للمعلّم الضعيف تخلط بين مكاسب التعلم المعزز وحدود النموذج الصغير نفسه — فتستورد معه قيوده لا فقط مهاراته. الحل الذي يقترحه الباحثون هو نقل إزاحة السياسة التي أحدثها RLVR، لا السياسة النهائية. ببساطة: قارن النموذج الصغير بعد التدريب مع نفسه قبل التدريب، واستخرج الـ log-ratio بينهما كإشارة ضمنية كثيفة تحكي أي الأفعال ازدادت احتمالاً بعد التعلم المعزز وأيها انخفض، ثم طبّق هذه الإشارة على الـ on-policy states للنموذج الأقوى مباشرةً.
ما يجعل هذا النهج لافتاً أنه لا يحتاج إلى تدريب نموذج مكافأة صريح، ولا يُشغّل sparse-reward RL على النموذج الهدف القوي. زوج نقاط التفتيش — ما قبل التدريب وما بعده — هو نفسه مصدر الإشارة. النموذج الأقوى يتلقى هذه الإشارة على حالاته الخاصة، لا على حالات النموذج الأصغر، وهذا هو الفارق الذي يجعله “on-policy” فعلاً لا اسماً فحسب.
على صعيد النتائج، اختبر الباحثون Direct-OPD على Qwen3-1.7B ورصدوا قفزة من 48.3% إلى 62.4% على معيار AIME 2024 (وفقاً للورقة البحثية)، وهو ما تحقق في أربع ساعات فقط على ثماني وحدات A100. هذا الرقم يستحق التوقف عنده: ليس لأن 62.4% رقم فلكي في معيار AIME، بل لأن التكلفة الحسابية لتحقيقه ضئيلة قياساً بما يتطلبه تشغيل RLVR مباشرةً على النموذج الهدف. الطريقة تتفوق أيضاً على direct RL عند مقارنة عدد الخطوات التدريبية نفسه (step-matched).
ميزة إضافية يُبرزها الباحثون هي قابلية التركيب التسلسلي: يمكن دمج إزاحات سياسات متعددة من جولات RLVR مختلفة وتطبيقها بالتتابع على النموذج الأقوى، ما يفتح الباب أمام سيناريو يتراكم فيه التعلم المعزز من نماذج متعددة ومهام متنوعة دون الحاجة إلى إعادة التدريب في كل مرة. هذا يحوّل مخرجات RL من “نماذج جاهزة للاستخدام المباشر” إلى “إشارات مكافأة ضمنية قابلة لإعادة الاستخدام عبر أحجام النماذج المختلفة”، وهو تأطير مفاهيمي يختلف عمّا هو سائد في أدبيات التقطير.
ثمة تحفظات ينبغي ذكرها. الورقة تُجرّب على نموذج واحد (Qwen3-1.7B) ومعيار واحد (AIME 2024)، ولا تُقدّم بعد دليلاً على تعميم النتائج عبر عائلات نماذج متعددة أو مهام استدلال بعيدة عن الرياضيات. كذلك يظل السؤال مفتوحاً: ما الحد الأقصى لحجم الفجوة بين النموذج الضعيف والنموذج القوي قبل أن تفقد إشارة الـ log-ratio قيمتها التحويلية؟ الباحثون أنفسهم يصفون هذا في الاتجاهات المستقبلية ضمنياً بتسميتهم إياه “weak-to-strong”، ما يشير إلى أن ثمة حدوداً لم تُرسَم بعد.
من منظور عملي، يُعيد Direct-OPD ترتيب أولويات فرق الـ post-training: بدلاً من تخصيص موارد GPU ضخمة لكل نموذج جديد، يكفي الاستثمار الحسابي في النموذج الصغير مرة واحدة ثم إعادة توزيع ما تعلّمه. هذا مناسب تحديداً للفرق التي تعمل على نماذج مفتوحة المصدر وتبحث عن طرق لتحسين قدرات الاستدلال دون الوصول إلى بنية تحتية من مستوى المختبرات الكبرى. تفاصيل الورقة الكاملة متاحة على arXiv:2607.05394.
