بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
أقوى نموذج ذكاء اصطناعي متاح اليوم لا يحلّ سوى 13 مهمة من أصل 46 — هذا ما كشفه Long-Horizon Terminal-Bench (LHTB)، المعيار الجديد الذي يختبر قدرة وكلاء LLM على الاستمرار في العمل المفيد داخل بيئة طرفية containerized عبر مئات الخطوات، لا مجرد كتابة مقتطف كود وإنهاء المهمة.
الفكرة المحورية لـ LHTB هي أن معظم benchmarks موجودة اليوم تقيس مسافات قصيرة: الوكيل يكتب artifact واحداً ثم يتوقف. LHTB يختلف جذرياً؛ يضع الوكيل في بيئة stateful كاملة ويحكم عليه عبر “verifiers” مخفية تُعيد بناء النتائج من الصفر — لا قيمة لأي ادعاء تقدّم ذاتي من الوكيل. (وفقاً للورقة البحثية على arXiv)
تم تقييم 21 نموذجاً أمامياً عبر منظومة Terminus-2 الموحّدة بميزانية 90 دقيقة لكل مهمة. النتيجة الأبرز: حتى أفضل نموذج في الترتيب لم يتجاوز متوسط مكافأة 0.505، وبقيت 29 مهمة من أصل 46 دون حلٍّ كامل من أي نموذج على الإطلاق. (وفقاً للوحة المتصدرين الرسمية)
- Grok 4.5 (xAI) يتصدر الترتيب بمتوسط مكافأة 0.505 وحلّ 13/46 مهمة بتكلفة 11.19 دولار/مهمة — الأعلى أداءً والأوفر نسبياً بين المنافسين الكبار.
- Claude Sonnet 5 (Anthropic) يأتي ثانياً بمتوسط 0.497 وحلّ 8/46 مهمة، لكن بتكلفة مرتفعة تبلغ 60.37 دولار/مهمة — أي أغلى بـ 5 أضعاف من Grok.
- Claude Opus 4.8 (Anthropic) ثالثاً بمتوسط 0.492 وحلّ 9/46 مهمة بتكلفة 39.11 دولار/مهمة.
- Claude Fable 5 (Anthropic) رابعاً بمتوسط 0.487 وحلّ 12/46 مهمة، لكنه الأغلى في القائمة بـ 73.11 دولار/مهمة.
- GPT-5.6-sol وGPT-5.5 (OpenAI) خامساً وسادساً بمتوسطات 0.451 و0.445 على التوالي، كلاهما حلّ 7/46 مهمة بتكلفة قريبة تبلغ نحو 21 دولاراً/مهمة.
- MiniMax M3 يحقق 0.385 وحلّ 3/46 مهمة بـ 6.13 دولار فقط، متفوقاً على نماذج تكلّف عشرة أضعاف ثمنه.
- Kimi K2.7 Code (Moonshot) يسجّل 0.367 وحلّ 3/46 مهمة بـ 8.31 دولار/مهمة — قيمة جيدة للتكلفة.
- GLM 5.2 (Zhipu) وQwen3.6 Plus (Alibaba) يتراوحان بين 0.316 و0.313 — النموذجان حلّ كل منهما مهمة واحدة فقط، لكن Qwen بتكلفة 4.47 دولار هي الأرخص في القائمة.
- DeepSeek V4 Pro يسجّل 0.307 وحلّ 3/46 مهمة بـ 6.32 دولار/مهمة، بينما Hy3 (Tencent) يقدم أرخص أداء في المجموعة بـ 2.47 دولار/مهمة ومتوسط 0.288.
- Gemini 3.1 Pro (Google) يأتي في المرتبة السادسة عشرة بمتوسط 0.279 وحلّ 2/46 مهمة بـ 7.61 دولار/مهمة، أداء خيّب توقعات كثيرين نظراً لحجم الشركة.
- Kimi K2.6 وGrok 4.20 في ذيل القائمة دون حلّ أي مهمة كاملة — Grok 4.20 خاصة بمتوسط هزيل 0.080 رغم تكلفة 20.63 دولار/مهمة، وهو أسوأ نسبة أداء/تكلفة في الاختبار بأكمله.
العلاقة بين السعر والأداء هي الدرس الأصعب في هذا المعيار. (وفقاً لـ LHTB على GitHub) القدرة لا تتناسب طردياً مع التكلفة: Grok 4.5 يتصدر بـ 11 دولاراً للمهمة، فيما Claude Fable 5 يكلف 73 دولاراً ليحلّ مهمة أقل. وNماذج كـ Hy3 بـ 2.47 دولار تنافس نماذج بعشرة أضعاف ثمنها. إذا كنت تبني وكيلاً للطرفية على نطاق واسع، فالحساب هنا حسّاس جداً — فرق 60 دولاراً في مهمة واحدة يعني آلاف الدولارات على المجموعة الكاملة من 46 مهمة.
المهام الـ 46 موزعة على ثماني فئات تعكس سيناريوهات عمل حقيقية: الألعاب التفاعلية والأحاجي (8 مهام تشمل 2048 وsokoban وsuper-mario وchess-mate)، والتحليل متعدد الوسائط (6 مهام)، وهندسة البرمجيات والهندسة العكسية (6 مهام تشمل riscv-core-debug)، والحوسبة العلمية (6 مهام مثل nbody-accel-iterative)، والمناخ والطاقة (6 مهام مثل modflow6)، والأنظمة والأمن (5 مهام تشمل poc-exploit-craft)، وإعادة إنتاج الأبحاث (5 مهام)، وسير العمل المهني من نوع APEX (4 مهام). (وفقاً لمجموعة البيانات على Hugging Face)
الرقم الأكثر إثارة للقلق ليس نسبة النجاح، بل نسبة الفشل الكامل: 55% من مجموع جلسات النموذج×المهمة انتهت بمكافأة أقل من 0.25 — أي أن الوكيل علق في حلقة أو استسلم مبكراً قبل نفاد الميزانية الزمنية. هذا يعني أن المشكلة ليست مجرد صعوبة المهام، بل هشاشة في قدرة الوكلاء على الحفاظ على التركيز والتوجه عبر مئات الخطوات المتتالية.
للباحثين الراغبين في تشغيل المعيار بأنفسهم، يتطلب LHTB تثبيت Harbor وDocker، ويمكن البدء بـ oracle smoke test دون مفتاح API. كل مهمة تتبع بنية موحدة من خمسة ملفات: task.toml وinstruction.md وDockerfile والـ verifiers المخفية ومرجع الحلول. على Apple Silicon يجب ضبط DOCKER_DEFAULT_PLATFORM=linux/amd64 لأن معظم الصور مبنية لـ amd64 فقط.
LHTB ليس مجرد benchmark آخر يُحتفى به لأيام ثم يُنسى. المعيارات الحالية كـ HumanEval وSWE-bench تقيس لحظات — LHTB يقيس تحمّل الوكيل عبر الزمن. وفي عالم تتجه فيه التطبيقات نحو agents تعمل ساعات لا ثوانٍ، هذا هو السؤال الذي يجب أن تُجاب عليه كل نماذج 2026.
