crawl4ai

استخراج موثوق من الويب على نطاق كبير، تم بناؤه ليكون أكثر فعالية من حيث التكلفة بشكل ملحوظ مقارنة بأي من الحلول القائمة.

👉 قدّم طلبك هنا للوصول المبكر _سنقوم بإدخال المستخدمين بشكل تدريجي والعمل عن كثب معهم. أماكن محدودة._

Crawl4AI تحول الويب إلى Markdown جاهز لـ LLM للاستخدام في RAG، والوكلاء، وأنابيب البيانات. سريع، قابل للتحكم، مختبر من قبل مجتمع يضم أكثر من 50 ألف نجمة.

✨ تحقق من التحديث الأخير v0.9.2

✨ الجديد في v0.9.2: إصدار تصحيح صيانة. يصلح تسرب المهمة/الصف في `MemoryAdaptiveDispatcher` عند إغلاق الزحف المستمر، تكوين “متقدم” في Docker Playground والاعتماد على WebSocket لمراقبة، تعبئة shellheadless لـ Playwright، وبناءات Docker مع GPU (`ENABLE_GPU=true`). ملاحظات الإصدار →

✨ الإصدار الأخير v0.9.0: إصدار آمن بشكل افتراضي لخادم API Docker. التوثيق مفعل بشكل افتراضي، يستخدم الخادم إعادة ربط إلا إذا تم تقديم رمز، وجسم الطلب الآن يقع ضمن حدود ثقة غير موثوقة. ملاحظات الإصدار →

✨ الإصدار الأخير v0.8.7: إصدار تعزيز الأمان. يصلح ثغرات API Docker الحرجة (RCE، SSRF، تخطي التوثيق، كتابة الملفات، XSS، سر JWT المدسوس)، يضيف DomainMapper، وينشر إصلاحات للزحف، والزحف العميق، وLLM. ملاحظات الإصدار →

✨ الإصدار السابق v0.8.0: استعادة من الكوارث & وضع التحميل المسبق! استعادة من الكوارث أثناء الزحف العميق مع `resume_state` وأحداث `on_state_change` للزحوف الطويلة. وضع جديد `prefetch=True` لاكتشاف URL أسرع 5-10 مرات. ملاحظات الإصدار →

✨ الإصدار السابق v0.7.8: إصدار تحسين الاستقرار وإصلاح الأخطاء! 11 إصلاحا للأخطاء تتعلق بمشاكل API Docker، تحسينات استخراج LLM، إصلاحات معالجة URL، وتحديثات التبعيات. ملاحظات الإصدار →

لقد نشأت على جهاز Amstrad، بفضل والدي، ولم أتوقف عن البناء. في مرحلة الدراسات العليا تخصصت في معالجة اللغة الطبيعية وبنيت زواحف لأغراض البحث. هنا تعلمت مدى أهمية الاستخراج.

في عام 2023، كنت في حاجة إلى طريقة لتحويل الويب إلى Markdown. كانت الخيار “المفتوح المصدر” يتطلب حسابًا ورمز API وتكلفة 16 دولارًا، ولم يكن يُسلم كما هو متوقع. دخلت في حالة غضب وبنيت Crawl4AI في أيام، وأصبح منتشرًا بشكل واسع. الآن هو الزاحف الأكثر نجومية.