بقلم: نور | محررة الأبحاث والدراسات · صوت تحريري بإشراف بشري
كلفة الذاكرة التربيعية لآلية الانتباه تجعل النماذج اللغوية الكبيرة تعاني مع النصوص الطويلة، لكن فريق بحثي يطرح حلاً مختلفاً تماماً. بدلاً من ضغط المعلومات في محول واحد ضخم، يقترح إطار Doc-to-Atom (Doc2Atom) تفكيك كل وثيقة إلى “ذرات معرفية” منفصلة يمكن تجميعها بذكاء حسب طبيعة كل استفسار.
المشكلة الأساسية في الأنظمة الحالية مثل Doc-to-LoRA تكمن في إنتاج محول واحد لكل وثيقة. هذا يؤدي إلى تداخل المعلومات غير المترابطة، استدعاء تركيبي محدود، وضعف في قابلية التوسع مع الوثائق الطويلة. (وفقاً للورقة البحثية على ArXiv) يحل Doc2Atom هذه المعضلات عبر نهج تركيبي جديد.
الآلية الداخلية للنظام تبدأ بتحليل كل وثيقة إلى ذرات معرفية مصنفة دلالياً – حقائق، أرقام، سياق، خلاصات. كل ذرة تُحول إلى محول micro-LoRA مستقل مع مفتاح استرجاع للمصدر. وقت التشغيل، يقوم موجه خفيف بتحليل الاستفسار واختيار الذرات المناسبة فقط لتجميعها في محول خاص بهذا السؤال تحديداً.
- تحليل الوثيقة إلى مكونات دلالية: النظام يفحص النص ويحدد أنواع المعلومات المختلفة – بيانات، تفسيرات، أمثلة، استنتاجات
- تحويل كل مكون إلى ذرة معرفية: كل نوع معلومة يُشفر كذرة منفصلة مع تصنيف واضح لطبيعتها ومحتواها
- إنشاء محولات micro-LoRA: كل ذرة تُحول إلى محول صغير مستقل بدلاً من دمجها في كتلة واحدة ضخمة
- ربط مفاتيح الاسترجاع: كل ذرة تحصل على مفتاح يحدد مصدرها وسياقها في الوثيقة الأصلية
- تحليل الاستفسار وقت التشغيل: الموجه يفحص نوع السؤال ويحدد أنواع المعلومات المطلوبة للإجابة
- اختيار وتجميع الذرات المناسبة: النظام ينتقي الذرات ذات الصلة فقط ويجمعها في محول مؤقت
- حقن المحول في النموذج الأساسي: المحول المخصص يُدمج مع النموذج المجمد لإنتاج الإجابة النهائية
الاختبارات على ستة معايير متنوعة للأسئلة والأجوبة أظهرت تفوق Doc2Atom على خطوط الأساس Doc-to-LoRA مع تقليل تكلفة الذاكرة المطلوبة لاستيعاب الوثائق. النتائج تكشف فوائد ملموسة: دقة أعلى في الإجابات لأن كل استفسار يحصل على المعلومات المناسبة فقط، استهلاك ذاكرة أقل بفضل المحولات الصغيرة، ومرونة أكبر في التعامل مع أنواع مختلفة من الأسئلة.
لكن التعقيد التقني للنظام يطرح تحديات عملية. آلية التدريب متعدد الأهداف تتطلب خبرة متقدمة للتنفيذ السليم. الموجه الإضافي يضيف طبقة حاسوبية قد تبطئ الاستجابة في بعض السيناريوهات. الورقة لا تناقش كيفية التعامل مع الوثائق التي تحتوي على معلومات متناقضة أو كيفية ضمان التماسك عند دمج ذرات من مصادر مختلفة.
رغم هذه القيود، النهج يفتح آفاقاً واعدة لمعالجة النصوص الطويلة. الفكرة الأساسية – تفكيك المعرفة المعقدة إلى وحدات قابلة للتجميع – قد تؤثر على تطوير أنظمة الذكاء الاصطناعي المستقبلية للبحث والتلخيص وتحليل المحتوى.
