بقلم: يوسف | محرر أدوات الذكاء الاصطناعي · صوت تحريري بإشراف بشري
مطور يسمى Markus Heimerl طرح مؤخراً تطبيقاً صغيراً لنموذج GPT قابل للتخصيص باستخدام CUDA، يعمل بطريقة مختلفة عن النماذج التقليدية – فبدلاً من معالجة الكلمات، يتعامل مع البايتات الخام مباشرة. هذا التصميم يعني أن النموذج لا يقتصر على النصوص فحسب، بل يمكنه نظرياً معالجة أي نوع من البيانات: تسلسلات DNA، الصوت، الفيديو، أو حتى الملفات التنفيذية.
النموذج يستخدم معمارية transformer تقليدية مع تعديلات ذكية. يبدأ بطبقة token embedding تحول كل بايت إلى متجه مستمر، ثم يمر عبر طبقات transformer متعددة تحتوي على آلية causal self-attention وشبكة feed-forward، مع استخدام rotational positional encoding لترميز المواضع النسبية و swish activation function في الشبكة الأمامية بدلاً من ReLU التقليدية.
النموذج الحالي يحتوي على 16 طبقة و d_model=512 و hidden=1024، ويستطيع معالجة تسلسلات بطول 1024 بايت. التدريب يستخدم AdamW optimizer مع weight decay كـ L2 regularization، والنموذج يتنبأ بالبايت التالي من خلال تحويل hidden states إلى logits لجميع القيم المحتملة (256 قيمة بايت).
للمطورين الذين يريدون تجربة النموذج على Ubuntu، العملية مباشرة نسبياً:
- تثبيت المتطلبات الأساسية: clang وmake وtime وlibopenblas-dev ونvidia-cuda-toolkit
- استنساخ المستودع من GitHub والانتقال إلى المجلد
- تشغيل make data لتحضير البيانات
- تشغيل make run -j 6 لبدء التدريب
- استخدام make infer لتوليد النصوص
المثير للاهتمام أن النتائج المعروضة تظهر قدرة النموذج على توليد قصص متماسكة باللغة الإنجليزية رغم أنه يعمل على مستوى البايت. عند إعطائه البداية “Once upon a time, there was a”، ولّد قصصاً كاملة عن شخصيات مثل Lily وTim وMia، مع حوارات ومواقف منطقية، وإن كانت بسيطة أحياناً.
التطبيق يستخدم BLAS لتسريع العمليات الرياضية، مما يجعله قادراً على الاستفادة من الهاردوير الحديث بكفاءة. لكن المطور لم يذكر تفاصيل عن حجم البيانات المطلوبة للتدريب أو الوقت اللازم للوصول لنتائج جيدة، وهذه معلومات مهمة لمن يريد تجربة النموذج على بيانات مختلفة.
النقطة الأهم هنا أن هذا النموذج يثبت إمكانية بناء GPT بسيط وفعال بأدوات متاحة للجميع، دون الحاجة لموارد ضخمة أو مكتبات معقدة. الكود متاح بالكامل ومفتوح المصدر، مما يجعله مرجعاً تعليمياً ممتازاً لفهم آلية عمل نماذج اللغة من الداخل.
