أعلنت Reddit أنها تقوم بتحديث بروتوكول استبعاد الروبوتات (ملف robots.txt)، والذي يحدد ما إذا كان يُسمح للروبوتات الآلية بتصفح الموقع أم لا.
تاريخياً، كان ملف robots.txt يُستخدم للسماح لمحركات البحث بفحص الموقع وتوجيه الناس إلى المحتوى. ومع ذلك، مع ازدياد استخدام الذكاء الاصطناعي، يتم فحص المواقع واستخدامها لتدريب النماذج دون الإشارة إلى المصدر الفعلي للمحتوى.
إلى جانب ملف robots.txt المحدث، ستستمر Reddit في تحديد معدل الوصول وحظر البوتات والزواحف غير المعروفة من الوصول إلى منصتها. أخبرت الشركة موقع TechCrunch أنه سيتم تحديد معدل أو حظر البوتات والزواحف إذا لم تلتزم بسياسة المحتوى العام لـ Reddit ولم يكن لديها اتفاق مع المنصة.
تقول Reddit إن التحديث لا ينبغي أن يؤثر على غالبية المستخدمين أو الجهات الفاعلة بحسن نية، مثل الباحثين والمنظمات، مثل أرشيف الإنترنت. بدلاً من ذلك، يهدف التحديث إلى ردع شركات الذكاء الاصطناعي عن تدريب نماذجها اللغوية الكبيرة باستخدام محتوى Reddit. بالطبع، يمكن لروبوتات الذكاء الاصطناعي تجاهل ملف robots.txt الخاص بـ Reddit.
يأتي هذا الإعلان بعد بضعة أيام من تحقيق قامت به مجلة “وايرد” والذي اكتشف أن شركة “بيربليكسيتي” الناشئة في مجال البحث المعزز بالذكاء الاصطناعي كانت تقوم بسرقة وتجريف المحتوى. وجدت “وايرد” أن “بيربليكسيتي” تتجاهل الطلبات بعدم تجريف موقعها الإلكتروني، على الرغم من أنّها كانت قد حظرت الشركة في ملف robots.txt الخاص بها. وردّ الرئيس التنفيذي لـ “بيربليكسيتي”، أرافيند سرينيفاس، على هذه الادعاءات قائلاً إن ملف robots.txt ليس إطارًا قانونيًا.
التغييرات القادمة في Reddit لن تؤثر على الشركات التي لديها اتفاقيات مع المنصة. على سبيل المثال، لدى Reddit صفقة بمبلغ 60 مليون دولار مع شركة Google تسمح لعملاق البحث بتدريب نماذج الذكاء الاصطناعي الخاصة به باستخدام المحتوى من منصة Reddit. مع هذه التغييرات، يشير Reddit إلى الشركات الأخرى التي ترغب في استخدام بيانات المنصة لتدريب الذكاء الاصطناعي بأنها ستحتاج إلى الدفع.
“صرحت شركة Reddit في منشور على مدونتها: ‘يجب على أي شخص يصل إلى محتوى Reddit أن يلتزم بسياساتنا، والتي تتضمن تلك المصممة لحماية مستخدمي Reddit. نحن نكون انتقائيين في اختيارنا لمن نتعاون معه ونثق به للوصول الواسع النطاق إلى محتوى Reddit.'”
الإعلان لم يأتِ كمفاجأة، حيث أصدرت ريديت قبل بضعة أسابيع سياسة جديدة تهدف إلى توجيه كيفية وصول الكيانات التجارية والشركاء الآخرين إلى بيانات ريديت واستخدامها.
