ثلاثة أسماء تمرّ على خادمك كل يوم وتبدو متشابهة: GPTBot وChatGPT-User وOAI-SearchBot. كلها من OpenAI، وكلها تقرأ موقعك — لكن كلًّا منها يفعل شيئًا مختلفًا تمامًا. والخلط بينها يقودك إلى قرار خاطئ: إمّا أن تحجب ما يجب أن تفتحه، أو تفتح ما لا تريده.
هذا المقال يشرح الفرق بالضبط، ويعرض أرقامًا حقيقية من خادمنا، ويعطيك أسطر robots.txt جاهزة للنسخ.
الفرق في ثلاثة أسطر
| الوكيل | متى يأتي؟ | ماذا يفعل بالمحتوى؟ |
|---|---|---|
| GPTBot | على جدول دوري، بلا سبب مباشر منك | يجمع محتوى قد يُستخدَم في تدريب النماذج المستقبلية |
| OAI-SearchBot | على جدول دوري | يبني فهرس البحث داخل ChatGPT — ليظهر موقعك كنتيجة |
| ChatGPT-User | في اللحظة التي يسأل فيها إنسان | يفتح صفحتك الآن ليقرأها ويجيب بها على سؤال قائم |
الفرق الجوهري في السطر الأخير. GPTBot وOAI-SearchBot زاحفان دوريّان يمشيان على جدول لا علاقة له بك. أمّا ChatGPT-User فليس زاحفًا أصلًا بالمعنى المعتاد — إنه جلب يُطلقه سؤال مستخدم حقيقي في تلك الثانية. حين تراه في سجلّك، فأنت تنظر إلى أثر شخص يسأل عن شيء، وChatGPT قرّر أن صفحتك تحمل الجواب.
لماذا يهمّك هذا الفرق تجاريًا؟
لأن قيمة كل واحد منها تختلف اختلافًا حادًّا:
- ChatGPT-User هو الأقرب إلى زائر حقيقي. وراءه إنسان ينتظر جوابًا الآن. إن كانت صفحتك واضحة ومباشرة، قد يُذكر اسمك في الإجابة ويصلك الزائر. حجبه يعني أن تختفي من إجابات ChatGPT حتى حين يكون موقعك هو المصدر الأفضل.
- OAI-SearchBot استثمار متوسّط المدى. يبني فهرسًا يُستدعى لاحقًا. لا عائد فوري، لكن حجبه يعني ألّا تظهر في بحث ChatGPT إطلاقًا — لا اليوم ولا بعد سنة.
- GPTBot استثمار بعيد وغير مضمون. يجمع للتدريب، ولا يوجد وعد بأن يُذكر اسمك مقابل ذلك. وهذا الوحيد الذي لبعض المؤسسات سبب وجيه في حجبه — خصوصًا إن كان محتواها مُنتَجها نفسه.
ولهذا فإن السؤال «هل أسمح للذكاء الاصطناعي بقراءة موقعي؟» سؤال ناقص. السؤال الصحيح: أيّ نوع من القراءة أسمح به؟
ما رأيناه على خادمنا نحن
لا نكتب هذا نقلًا عن تقارير أجنبية. شغّلنا راصدًا على خادم icloudits.com يسجّل ترويسة الوكيل لكل طلب يصل. في أول ٦٠ ساعة من الرصد (١٥ إلى ١٨ سبتمبر ٢٠٢٦) وصلت ٣٣٣ زيارة زاحف من ١٤ جهة مختلفة. ومن OpenAI وحدها:
- ChatGPT-User: ٥٠ زيارة
- OAI-SearchBot: ٨ زيارات
- GPTBot: ٧ زيارات
والمقارنة التي فاجأتنا: Googlebot زار الموقع ٢٤ مرة في المدة نفسها. أي أن الجلب الذي يُطلقه سؤال مستخدم على ChatGPT كان ضعف زحف جوجل الدوري.
وحين جمعنا كل وكلاء الذكاء الاصطناعي في كفّة ومحركات البحث التقليدية في كفّة، جاءت النتيجة: ١٧١ زيارة للذكاء الاصطناعي مقابل ١٣٧ لمحركات البحث.
هذه بيانات خادم واحد في نافذة قصيرة، ولا نقدّمها قاعدة عامة للسوق السعودي. لكنها تكفي لتقول شيئًا واحدًا بثقة: الافتراض بأن جوجل هو القارئ الأهم لموقعك لم يعد بديهيًا، ويستحق أن تتحقّق منه على خادمك أنت.
كيف تتحكّم بكل واحد منها؟
التحكّم يتم من ملف robots.txt في جذر موقعك، ولكل وكيل اسمه المستقل. الحالة الأولى — تسمح بالثلاثة:
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /والحالة الثانية — تريد الظهور في بحث ChatGPT وفي إجاباته المباشرة، دون أن تُساهم في التدريب:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /وهذه الحالة الثانية هي الأكثر منطقية لأغلب الشركات: تكسب الظهور، وتحتفظ بمحتواك خارج بيانات التدريب.
الخطأ الشائع الذي يكلّف كثيرًا
كثير من المواقع تكتب سطرًا واحدًا تظنّه يحجب «الذكاء الاصطناعي»، فتحجب الثلاثة دفعةً واحدة. النتيجة أنها تختفي من إجابات ChatGPT ومن بحثه معًا — بينما كان مرادها الاعتراض على التدريب فقط. خسارة كاملة مقابل مكسب جزئي.
والخطأ المقابل أسوأ: ألّا تذكر شيئًا إطلاقًا، فلا تعرف أصلًا من يقرأ موقعك ولا كم مرة ولا هل يرتفع أم ينخفض. لا يمكنك أن تُحسّن ما لا تقيسه.
وهناك خطأ ثالث أقلّ وضوحًا: الاكتفاء بفتح الباب. أن تسمح للوكيل بالدخول شيء، وأن تكون صفحتك جديرة بالاقتباس شيء آخر. الوكيل يفتح صفحتك ثم يقرّر — في أجزاء من الثانية — هل فيها جواب يستحق النقل. الصفحة التي تبدأ بمقدّمة تسويقية طويلة قبل أن تصل إلى الجواب تُتجاوَز، وإن كان بابها مفتوحًا على مصراعيه.
أربع خطوات تفعلها اليوم
- افتح
robots.txtوتحقّق. اكتب عنوان موقعك متبوعًا بـ/robots.txt. إن لم تجد أسماء الوكلاء مذكورة صراحةً، فأنت تعتمد على السلوك الافتراضي بلا قرار منك — وهذا ليس قرارًا، إنه غياب قرار. - شغّل رصدًا لترويسة الوكيل. سطر واحد يسجّل من يصل ومتى يكفي لتبدأ. بعد شهر تملك سلسلة زمنية تقول لك إن كنت ترتفع أم تنخفض — وهذا أهم بكثير من رقم لحظة واحدة.
- اقرأ صفحاتك بعين المساعد لا بعين المسوّق. النموذج لا يتصفّح ولا ينتظر. ضع الجواب في الفقرة الأولى، واجعل العناوين الفرعية أسئلة يسألها الناس فعلًا، واستخدم الجداول والقوائم فهي أسهل ما يُقتبَس.
- افصل بين وكلاء جوجل. زاحف جوجل للفهرسة اسمه
Googlebot، وزاحفه للذكاء الاصطناعي اسمهGoogle-Extended. حجب الثاني لا يؤثّر في ترتيبك إطلاقًا — وكثيرون لا يعرفون ذلك.
وماذا عن بقيّة الوكلاء؟
OpenAI ليست وحدها. على خادمنا في تلك الستّين ساعة ظهر عشرة وكلاء ذكاء اصطناعي مختلفين، وأكثرها نشاطًا لم يكن من OpenAI أصلًا: وكيل ميتا meta-externalagent بـ٨٥ زيارة — أي أكثر من ChatGPT-User نفسه.
وظهر كذلك ClaudeBot وClaude-User من Anthropic، وPerplexityBot، وDuckAssistBot الذي يخدم إجابات DuckDuckGo، وcohere-ai، وMistralAI-User. ولكلٍّ منها اسمه المستقل في robots.txt، ولكلٍّ منها الوظيفة نفسها التي شرحناها: إمّا تدريب، أو فهرس، أو جلب فوري.
القاعدة إذن ليست «افتح أو أغلق للذكاء الاصطناعي». القاعدة أن تعرف أسماءهم، وتقرّر لكل واحد على حدة. وهذا ما ستجده مفصّلًا في الحلقة الثالثة من هذه السلسلة.
الفرق بين أن تُقرأ وأن تُذكَر
هنا نقطة يخلط فيها كثيرون، ويجب أن تكون واضحة قبل أن تبني عليها توقّعًا.
زيارة الوكيل لا تعني ذِكرًا في الإجابة. قد يفتح ChatGPT-User صفحتك، يقرأها، ثم يجيب المستخدم من مصدر آخر رآه أفضل. سجلّ الخادم يقول لك «قُرئت»، ولا يقول «ذُكرت».
ما الذي يرفع احتمال الذِّكر إذن؟ ثلاثة أشياء يتّفق عليها من يراقب هذا المجال:
- جواب قابل للاقتطاع. فقرة قصيرة مكتفية بذاتها تجيب على السؤال كاملًا دون أن تحتاج ما قبلها أو ما بعدها.
- بنية يفهمها النموذج. عناوين فرعية على شكل أسئلة، وجداول مقارنة، وقوائم مرقّمة — لا جدران نصّ.
- إشارات ثقة. بيانات منظّمة، ومؤلّف واضح، وتاريخ تحديث، ومصدر يمكن التحقّق منه. النموذج — مثل القارئ — يفضّل ما يستطيع الاستناد إليه.
والخلاصة العملية: فتح الباب شرط ضروري وغير كافٍ. أن تسمح للوكيل بالدخول خطوة أولى لا أخيرة.
أسئلة شائعة
هل حجب GPTBot يضرّ ترتيبي في جوجل؟
لا. GPTBot تابع لـOpenAI ولا علاقة له بفهرسة جوجل إطلاقًا. زاحف جوجل للذكاء الاصطناعي اسمه مختلف: Google-Extended، وحجبه أيضًا لا يؤثّر في ترتيب البحث.
هل يلتزم ChatGPT-User بـrobots.txt؟
تنصّ وثائق OpenAI على أنه يحترم الملف. ويبقى robots.txt إعلان نيّة لا جدارًا تقنيًا — من أراد التجاهل فعل. إن كان لديك محتوى يجب ألّا يُقرأ، فمكانه خلف تسجيل دخول لا خلف سطر في ملف نصّي.
كم أنتظر لأرى أثرًا؟
الفهرسة في بحث ChatGPT قد تستغرق أسابيع. أمّا ChatGPT-User فيظهر فور وجود سؤال يستدعي صفحتك — أي أن ظهوره في سجلّك مؤشّر طلب حقيقي لا مؤشّر جدول.
هل أحتاج ملف llms.txt؟
ليس بالضرورة، وهذا موضوع الحلقة القادمة. باختصار: الملف اقتراح حديث لا معيارًا مُلزِمًا، ودعمه الفعلي أقلّ ممّا يُروَّج له.
كيف أعرف إن كان موقعي جاهزًا أصلًا؟
افحص أربعة أشياء: وصول الوكلاء في robots.txt، ووجود بيانات منظّمة، وسكيما أسئلة شائعة، وموضع الجواب في صفحتك. هذه الأربعة تفصل بين موقع يُقتبَس وموقع يُتجاوَز.
هذا المقال الأول في سلسلة نرصد فيها سلوك وكلاء الذكاء الاصطناعي على موقع سعودي، ببيانات من خادمنا لا من تقارير خارجية. الحلقة القادمة: ما هو ملف llms.txt ولماذا قد لا تحتاجه؟
