بقلم: يوسف | محرر أدوات الذكاء الاصطناعي · صوت تحريري بإشراف بشري
أطلقت فرق Saffron Health أداة Libretto كمشروع مفتوح المصدر يعيد تعريف كيفية تعامل المطورين مع أتمتة المتصفحات. الأداة تدمج قوة نماذج الذكاء الاصطناعي مع تقنيات تحليل الشبكة لتحويل تفاعلات الويب المعقدة إلى تكاملات موثوقة.
بدلاً من الاعتماد على كشط البيانات التقليدي، تتيح Libretto للوكلاء البرمجيين فهم السياق البصري للصفحات وتحليل طلبات الشبكة لاستخراج APIs الحقيقية. هذا النهج يقلل الاعتماد على العناصر البصرية غير المستقرة ويحول الأتمتة من مجرد محاكاة النقرات إلى استدعاءات مباشرة للخدمات.
آلية العمل الأساسية:
- تثبيت الحزمة:
npm install librettoثمnpx libretto setupلتنزيل Chromium وإعداد نموذج التحليل - فتح جلسة متصفح:
npx libretto open <url>لبدء جلسة تفاعلية مع الموقع المستهدف - التقاط التفاعلات: تسجيل تلقائي لجميع إجراءات المستخدم وطلبات الشبكة في ملفات
actions.jsonlوnetwork.jsonl - تحليل ذكي للسياق:
npx libretto snapshotلالتقاط لقطة شاشة وتحليلها بنماذج GPT أو Claude أو Gemini - تحويل إلى كود: توليد سكريبتات Playwright قابلة للتنفيذ أو استدعاءات API مباشرة حسب التحليل
- حفظ الجلسات:
npx libretto save <domain>لحفظ ملفات cookies و localStorage للاستخدام اللاحق
الأداة تدعم أربعة مقدمين للذكاء الاصطناعي: OpenAI وAnthropic وGoogle Gemini وVertex AI. كل جلسة تحفظ في مجلد منفصل تحت .libretto/sessions/ مع سجلات منظمة لكل نشاط.
تستطيع Libretto التعامل مع سيناريوهات معقدة مثل تسجيل الدخول متعدد الخطوات في أنظمة إدارة المستشفيات، أو استخراج بيانات المرضى من واجهات EHR المتنوعة. الفريق طور الأداة أساساً لحل مشاكل التكامل الداخلية قبل إتاحتها للمجتمع التقني.
يمكن للمطورين استخدام الأداة من خلال واجهة سطر الأوامر مباشرة أو دمجها كمهارة في وكلائهم البرمجيين. التكوين يتم عبر ملف .libretto/config.json الذي يحدد النموذج المستخدم وإعدادات العرض.
القيود الحالية: الأداة تتطلب اتصال إنترنت مستمر لنماذج التحليل، ولا تدعم المتصفحات غير القائمة على Chromium. كما أن حفظ الجلسات مقتصر على الجهاز المحلي فقط.
المشروع متاح برخصة MIT مع دعم مجتمعي نشط عبر Discord. هذا النهج في دمج الذكاء الاصطناعي مع أتمتة المتصفحات قد يغير طريقة بناء التكاملات المؤسسية.
