بقلم: ليلى | محررة أدوات المطورين · صوت تحريري بإشراف بشري
ماذا لو كانت GPU المتربّعة تحت مكتبك — أو تلك الموزعة في مكاتب فريقك — قادرة على تشغيل نموذج بـ235 مليار معامل دون أن تدفع سنتاً واحداً لـ API خارجي؟ هذا تحديداً ما يطرحه Mesh LLM: بنية موزعة تجمع الأجهزة التي تمتلكها بالفعل في شبكة واحدة متماسكة، وتعرضها كـ API متوافق مع OpenAI على localhost:9337/v1.
الفكرة تنبع من إحباط حقيقي يعرفه كل مطوّر عمل مع النماذج الكبيرة: أنت لا تتحكم في موعد تحديث النموذج، ولا في أين تذهب بياناتك، ولا في الحديدة التي تعالج طلباتك. والأسوأ أن الفاتورة تنمو بالضبط حين ينمو مشروعك، ولا يوجد زرٌّ تضغطه غير “ادفع أكثر.” Mesh LLM يقلب هذه المعادلة: بدلاً من إرسال الطلبات إلى صندوق أسود بعيد، تبني صندوقك الأسود الخاص من الأجهزة الموجودة أمامك.
الكتالوج يضم أكثر من 40 نموذجاً (وفقاً لـ Iroh Blog)، تتراوح بين نماذج بنصف مليار معامل تعمل على لاب توب عادي، وصولاً إلى نماذج Mixture-of-Experts بـ235 مليار معامل. للنماذج العملاقة التي لا تسعها ذاكرة جهاز واحد، يوجد وضع التقسيم المسمى داخلياً “Skippy”: النموذج يُقسَّم بحسب نطاقات الطبقات بين العقد — الطبقات 0-15 على الجهاز الأول، 16-31 على الثاني، وهكذا — وتتدفق التفعيلات بين المراحل حتى يكتمل الاستنتاج. العميل لا يرى شيئاً من هذا؛ يظل يتحدث إلى localhost كأن شيئاً لم يتغير.
العصب التقني للمشروع هو مكتبة iroh، وهي طبقة شبكية تفتح اتصالات QUIC مباشرة بين أي جهازين بصرف النظر عن NAT أو الجدران النارية، مستخدمةً المفتاح العام هوية للعقدة بدلاً من عنوان IP. لا يوجد سيرفر مركزي: كل عقدة تحمل هويتها الخاصة، وMesh LLM يشغّل relays في منطقتين جغرافيتين كمسار احتياطي للعقد التي لا تستطيع الوصول المباشر لبعضها. البروتوكول يعمل عبر ثلاثة ALPNs على QUIC: mesh-llm/1 للـ gossip والتوجيه وأنفاق HTTP، وmesh-llm-control/1 لمستوى التحكم والملكية، وskippy-stage/2 لنقل التفعيلات الحساسة للتأخير في النماذج المقسّمة.
داخل الاتصال الرئيسي، كل شيء عبارة عن QUIC stream ثنائي الاتجاه تُعرَّف نوعه بالبايت الأول: 0x01 لإعلانات الـ peers، 0x04 لطلبات الاستنتاج عبر نفق، 0x05 للاستعلام عن النماذج المتاحة، 0x06 لإشعار موت عقدة، 0x07 للإغلاق المنظّم، 0x08 لـ RPC الإضافات، و0x0e لتبادل العناوين المباشرة للتجاوز اليدوي لـ NAT. نفس الاتصال يحمل كل هذا عبر demux بسيط على البايت الأول.
البنية قابلة للتوسيع عبر نظام إضافات: كل plugin يعلن قدراته في ملف manifest، والـ runtime يبدأها ويوجّه الطلبات إليها ويعرض إمكانياتها عبر MCP وHTTP وأحداث الشبكة. هذا يعني أن إضافة نموذج جديد أو بروتوكول جديد لا تتطلب تعديلاً في النواة.
للبدء، البرنامج لا يتجاوز 18 ميغابايت (وفقاً لـ Iroh Blog). تثبّته، تختار إما الانضمام للـ mesh العام أو إعداد شبكة خاصة بفريقك، وتوجّه أي OpenAI client نحو localhost. ثلاثة طرق لخدمة الطلب تعمل بشكل تلقائي دون تدخّل منك: التشغيل المحلي على GPU الجهاز الحالي، التوجيه إلى peer يمتلك النموذج محمّلاً بالفعل، أو التقسيم عبر عدة أجهزة إذا كان النموذج أكبر من أن يحمله أي منها منفرداً.
على طريق التطوير: تطبيق موبايل مبني على Swift SDK الخاص بـ iroh، ودعم بروتوكول ACP لتمكين وكلاء AI الخارجيين من الانضمام للشبكة. الكود متاح بالكامل على GitHub. القيد الواضح الذي لا يذكره المشروع صراحةً هو الكمون: تدفق التفعيلات بين أجهزة متفرقة عبر الإنترنت أبطأ حتماً من الذاكرة المشتركة داخل خادم واحد، وهو مقايضة منطقية تقبلها الفرق التي تقدّم التكلفة والتحكم على كل شيء آخر.
