بقلم: يوسف | محرر أدوات الذكاء الاصطناعي · صوت تحريري بإشراف بشري
ظهرت TycoonLE كبيئة تعلم معزز متخصصة في التخطيط الاقتصادي طويل المدى، حيث تحاكي اقتصاد نقل معقد يتطلب من الوكلاء الذكية إدارة رؤوس الأموال وبناء شبكات النقل وتحسين الأرباح المؤجلة (وفقاً لـ GitHub).
البيئة مصممة لدراسة تحديات محددة في التعلم المعزز: شرعية الإجراءات، واجهات اتخاذ القرار المرشحة، توقيت التمويل، المكافآت المؤجلة، التنوع الإجرائي، وآثار التدقيق القابلة للتكرار. تستخدم واجهة ثابتة الشكل تجعل الوكلاء يختارون من بين مرشحي الطرق والتمويل والانتظار الصالحين، مما يجعل عمليات التشغيل متوافقة مع تحويلات JAX مثل jit وvmap وscan.
عملية الإعداد تتطلب Python 3.11 أو 3.12، مع تثبيت الحزم المطلوبة عبر pip وnpm. تبدأ المحاكاة بإنشاء كائن TycoonLE مع معاملات “dev” split و”chain” family، ثم إعادة تعيين البيئة باستخدام مفتاح عشوائي JAX. الوكيل يختار إجراءات صالحة من خلال action_mask.argmax() وينفذها عبر env.step().
- إعداد البيئة: إنشاء بيئة افتراضية بـ Python 3.11/3.12، تثبيت الحزم بـ pip install -e “.[test]” وnpm install
- البداية السريعة: استيراد jax وTycoonLE، إنشاء البيئة بمعاملات “dev” و”chain”، إعادة التعيين بمفتاح عشوائي
- تنفيذ الإجراءات: اختيار إجراء صالح عبر timestep.observation.action_mask.argmax() وتنفيذه بـ env.step()
- تصدير المراجعة: تشغيل examples/quickstart.py لإنشاء replay.json، ثم npm run dev وتحميل الملف في المتصفح
- تشغيل الاختبارات: python -m pytest لفحص التثبيت، npm run build لبناء واجهة المراجعة
- التدريب بـ PPO: تشغيل examples/train_ppo_jax.py مع معاملات قابلة للتعديل للتحديثات وعدد البيئات وطول الـ rollout
واجهة المراجعة تجعل السياسات قابلة للفحص من خلال خيارات الطرق وتدفق البضائع وسلوك التمويل والمكافآت والنقاط والأرباح عبر الزمن. TycoonBench يقدم تقرير مرجعي مصاحب لمقارنة أداء الوكلاء والنماذج في مهام التخطيط.
البيئة تستخدم رسوميات sprite من OpenGFX، مجموعة رسوميات مفتوحة المصدر لـ OpenTTD. هذا التصميم يقرب التجربة من ألعاب محاكاة النقل المألوفة لكن بهدف تدريب الذكاء الاصطناعي على القرارات الاقتصادية المعقدة.
التحدي الحقيقي في TycoonLE ليس فقط تحسين الأرباح، بل إدارة التوازن المعقد بين الاستثمار في البنية التحتية والعائدات قصيرة المدى والنمو طويل المدى – وهو ما يجعلها أقرب لتحديات الأعمال الحقيقية من بيئات التعلم المعزز التقليدية.
