الجواب المباشر: التحكّم بوكلاء الذكاء الاصطناعي يجري كلّه من ملف واحد — robots.txt — بسطرين لكل وكيل: User-agent يحدّد مَن، وAllow أو Disallow يحدّد ماذا. الصعوبة ليست في الصياغة بل في معرفة مَن هؤلاء: ستّة وعشرون وكيلًا نشطًا، بعضها يجمع بيانات تدريب، وبعضها يبني فهرسًا للبحث، وبعضها لا يتحرّك إلا حين يسأل مستخدم سؤالًا في تلك اللحظة. وحجب الثالث يعني اختفاءك من الإجابة وقت الطلب.
ثلاث وظائف لا وظيفة واحدة
قبل الجدول، هذا التصنيف هو مفتاح قراءته كلّه:
- تدريب — يجمع نصوصًا لتدريب نموذج لاحق. حجبه قرار ملكية فكرية، وأثره على ظهورك اليوم قريب من الصفر.
- فهرسة — يبني فهرسًا يُستشهد منه داخل محرّك بحث أو مساعد. حجبه يُخرجك من نتائجه.
- جلب فوري — لا يزحف دوريًا، بل يفتح صفحتك في اللحظة التي يسأل فيها مستخدم. هذا أخطر ما تحجبه: تخسر ظهورًا أمام شخص يبحث عنك الآن.
وهناك نوع رابع يُخلط به كثيرًا: رمز تحكّم لا زاحف — اسم لا يزور موقعك إطلاقًا، وُضع ليقرأ ملف robots.txt فقط ويفهم منه إذنك. Google-Extended وApplebot-Extended من هذا النوع.
الجدول المرجعي: ٢٦ وكيلًا
يُكتب الرمز في الملف هكذا: User-agent: GPTBot ثم في السطر التالي Allow: / أو Disallow: /.
| # | الرمز في robots.txt | الجهة | الوظيفة |
|---|---|---|---|
| 1 | GPTBot | OpenAI | تدريب |
| 2 | ChatGPT-User | OpenAI | جلب فوري |
| 3 | OAI-SearchBot | OpenAI | فهرسة |
| 4 | Googlebot | فهرسة | |
| 5 | Google-Extended | رمز تحكّم | |
| 6 | GoogleOther | فهرسة | |
| 7 | ClaudeBot | Anthropic | تدريب |
| 8 | Claude-User | Anthropic | جلب فوري |
| 9 | Claude-SearchBot | Anthropic | فهرسة |
| 10 | anthropic-ai | Anthropic | تدريب (رمز قديم) |
| 11 | Bingbot | Microsoft | فهرسة |
| 12 | Applebot | Apple | فهرسة |
| 13 | Applebot-Extended | Apple | رمز تحكّم |
| 14 | meta-externalagent | Meta | تدريب |
| 15 | meta-externalfetcher | Meta | جلب فوري |
| 16 | FacebookBot | Meta | تدريب |
| 17 | PerplexityBot | Perplexity | فهرسة |
| 18 | Perplexity-User | Perplexity | جلب فوري |
| 19 | CCBot | Common Crawl | تدريب (أرشيف عام) |
| 20 | Amazonbot | Amazon | فهرسة |
| 21 | Bytespider | ByteDance | تدريب |
| 22 | cohere-ai | Cohere | جلب فوري |
| 23 | MistralAI-User | Mistral AI | جلب فوري |
| 24 | DuckAssistBot | DuckDuckGo | جلب فوري |
| 25 | AI2Bot | Allen Institute | تدريب |
| 26 | YouBot | You.com | فهرسة |
تنبيه يوفّر عليك وقتًا: هذه الأسماء تتغيّر — تُضاف رموز وتُتقاعد أخرى. تحقّق من توثيق كل جهة قبل الاعتماد النهائي، ولا تنسخ قائمة من مدوّنة قديمة.
أيّها زار موقعنا فعلًا؟
الجدول أعلاه مرجع، والسجلّ حقيقة. في نافذة رصد امتدّت ستّين ساعة على خادم icloudits.com سجّلنا ٣٣٣ زيارة زاحف من أربعة عشر وكيلًا مسمّى فقط — لا ستّة وعشرين. أعلاها Bingbot بـ١١٢ زيارة، ثم meta-externalagent بـ٨٥، ثم ChatGPT-User بـ٥٠، بينما Googlebot عند ٢٤. ومجموع وكلاء الذكاء الاصطناعي ١٧١ زيارة مقابل ١٣٧ لمحرّكات البحث التقليدية.
الدرس العملي: لا تُجهد نفسك في ضبط رموز لا تزور موقعك أصلًا. افتح سجلّك، واعرف الأربعة أو الخمسة الذين يأتون فعلًا، وابدأ بهم.
ثلاث قواعد قبل أن تنسخ أي سطر
- الاسم حسّاس للدقّة. خطأ حرف واحد يجعل السطر بلا أثر، وتظنّ أنك ضبطت شيئًا وأنت لم تفعل.
- لا تحجب الجلب الفوري إلا بقرار واعٍ. حجب
ChatGPT-UserأوPerplexity-UserأوClaude-Userيعني: حين يسأل عميل محتمل عنك، لا تُقرأ صفحتك. - الحجب طلب لا جدار.
robots.txtيُحترم طوعًا من الجهات الجادّة. من أراد التجاهل تجاهل. الحماية الحقيقية تكون على مستوى الخادم.
قالب جاهز — الموقف المتوازن
هذا ما نستخدمه نحن ونوصي به لأغلب مواقع الشركات: افتح للفهرسة والجلب الفوري، واترك قرار التدريب لك.
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Allow: /
Sitemap: https://example.com/sitemap.xmlوإن أردت منع التدريب مع بقاء الظهور، بدّل Allow: / إلى Disallow: / في أسطر التدريب وحدها — GPTBot وClaudeBot وCCBot وBytespider — ولا تلمس أسطر الفهرسة والجلب الفوري.
أسئلة شائعة
هل أضيف الستّة والعشرين كلهم؟
لا حاجة. اذكر من يزورك فعلًا ومن يهمّك ظهوره، ودع الباقي للقاعدة العامة. ملف طويل بلا داعٍ أصعب في الصيانة وأكثر عرضة للخطأ.
ما الفرق بين Googlebot وGoogle-Extended؟
الأول زاحف حقيقي يفهرس صفحاتك للبحث، والثاني رمز تحكّم لا يزور موقعك — يخصّ استخدام المحتوى في منتجات الذكاء. حجب الثاني لا يؤثّر على ترتيبك في البحث. وهذا موضوع الحلقة الخامسة.
وماذا عن الوكلاء غير المذكورين هنا؟
يسري عليهم ما تكتبه تحت User-agent: *. فإن تركت هذا القسم بلا حجب، فالافتراضي هو السماح.
هل يكفي هذا لأظهر في إجابات الذكاء الاصطناعي؟
لا. هذا يفتح الباب فقط. الدخول يحتاج صفحة تستحقّ الاقتباس.
الخلاصة والحلقة القادمة
الضبط الصحيح يستغرق عشر دقائق ويُقاس أثره في سجلّك خلال أيام. ابدأ بفتح الباب للفهرسة والجلب الفوري، وراجع سجلّك بعد أسبوع. وتذكّر أن ملف llms.txt الذي تناولناه في الحلقة الثانية لا يغني عن هذا الملف، وأن الفروق بين وكلاء OpenAI الثلاثة مفصّلة في الحلقة الأولى. أما الربط بين الأذونات والمحتوى فهو جوهر تحسين محرّكات الإجابة التوليدية (GEO).
في الحلقة الرابعة: كيف تكتب صفحة يقتبسها الذكاء الاصطناعي؟ — بنية الجواب المباشر، السؤال في العنوان الفرعي، ولماذا تُتجاوَز الصفحة التي تؤجّل جوابها.
