🎧 استمع للملخص
بقلم: يوسف | محرر أدوات الذكاء الاصطناعي · صوت تحريري بإشراف بشري
يطرح مطورو llama.cpp الإصدار b8931 مع تحسين أداء معالجة CUDA وتقليل استهلاك الموارد، بالإضافة لدعم أوسع عبر 20 منصة مختلفة من macOS إلى openEuler.
- تحسين أداء CUDA المباشر: يقلل الإصدار الجديد من العبء التشغيلي لخوارزمية MMQ stream-k في بيئات CUDA، ما يعني استخداماً أكثر كفاءة لذاكرة GPU وأوقات معالجة أقصر.
- استخدام أعداد صحيحة 32-bit لـ kbc: يحسن هذا التعديل من دقة العمليات الحسابية مع الحفاظ على التوافق مع المعمارات المختلفة.
- دعم macOS محسّن: يتضمن نسختين لـ Apple Silicon – واحدة عادية وأخرى مع KleidiAI المفعّل، بالإضافة لنسخة Intel x64 ومكتبة iOS XCFramework.
- تنوع شامل في Linux: يغطي معمارات x64 وarm64 وs390x مع دعم Vulkan وROCm 7.2 وOpenVINO وSYCL بصيغتي FP32 وFP16.
- Windows بخيارات متعددة: يدعم كلاً من CUDA 12 و13 مع ملفات DLL المطلوبة، بالإضافة لـ Vulkan وSYCL وHIP للمعالجات AMD.
- دعم openEuler للشركات: يوفر نسخ محسنة لمعالجات 310p و910b مع ACL Graph للمؤسسات التي تعتمد هذا التوزيع الصيني.
التحديث لا يشمل تفاصيل عن تحسينات أخرى محتملة أو قياسات أداء محددة، لكن التركيز الواضح على تحسين CUDA يشير لأهمية هذا المسار في تطوير llama.cpp. يمكن للمطورين تحميل النسخة المناسبة لنظامهم من صفحة الإصدار الرسمية والاستفادة فوراً من التحسينات الجديدة.
