الجواب المباشر: Googlebot زاحف حقيقي يزور موقعك ويبني فهرس البحث — حجبه يُخرجك من نتائج جوجل. أما Google-Extended فليس زاحفًا ولا يزور موقعك إطلاقًا: هو رمز تحكّم يُقرأ من robots.txt ليحدّد إن كان محتواك يُستخدم في تدريب نماذج جوجل وتغذية تطبيقات Gemini. حجبه لا يؤثّر على ترتيبك في البحث ولا ينقص منه شيئًا. الخلط بينهما يكلّف بعض المواقع ظهورها كاملًا.
الفرق في جدول واحد
| الرمز | هل يزور موقعك؟ | ما الذي يحكمه | أثر حجبه |
|---|---|---|---|
Googlebot | نعم — زاحف | فهرس بحث جوجل | خروج من نتائج البحث |
Google-Extended | لا — رمز تحكّم | التدريب وتطبيقات Gemini | لا أثر على الترتيب |
GoogleOther | نعم — زاحف | استخدامات خارج فهرس البحث | لا أثر على الترتيب |
الفارق الجوهري في العمود الثاني: واحد منهم اسم لكيان لا يتحرّك. لن تجد له سطرًا في سجلّ خادمك مهما انتظرت، لأنه لم يُصنع ليزور — صُنع ليُقرأ.
الخطأ الذي يكلّف الظهور كاملًا
الخطأ المتكرّر يبدأ بنيّة سليمة: صاحب موقع يقرأ عن استخدام المحتوى في تدريب النماذج، فيقرّر المنع. ثم يكتب في robots.txt سطرًا عامًّا يشمل جوجل كلها — أو يحجب Googlebot مباشرة ظنًّا أنه «زاحف جوجل للذكاء الاصطناعي».
النتيجة: منع التدريب لم يحدث بالشكل المقصود، وخروج من نتائج البحث حدث فورًا. وقد تمرّ أسابيع قبل أن يُلاحَظ الانخفاض ويُربط بسببه.
القاعدة التي تمنع هذا الخطأ: اكتب اسم الرمز كاملًا ودقيقًا، ولا تستخدم صيغًا عامة تشمل عائلة كاملة. كل رمز يُذكر بمفرده.
وماذا عن ملخّصات الذكاء في نتائج البحث؟
هنا تحديدًا يقع أكثر سوء الفهم. حجب Google-Extended لا يُخرجك من الملخّصات التوليدية التي تظهر أعلى نتائج البحث، لأن هذه الملخّصات جزء من البحث نفسه وتُبنى من فهرسه — أي من وصول Googlebot.
بعبارة أوضح: إن أردت الاختفاء من ملخّصات البحث فالسبيل الوحيد هو التضحية بظهورك في البحث كلّه، أو استخدام ضوابط المقتطفات على مستوى الصفحة. أما Google-Extended فيخصّ استخدامًا آخر تمامًا.
وضوابط جوجل في هذا الباب تتغيّر وتُضاف إليها رموز جديدة — راجع توثيقها قبل أي قرار نهائي، ولا تعتمد على مقال قديم مهما بدا واثقًا.
قاعدة في robots.txt يجهلها كثيرون
الزاحف لا يطبّق كل ما في الملف — يطبّق مجموعة واحدة فقط: أكثر المجموعات تطابقًا مع اسمه. فإن وُجدت مجموعة باسمه صراحةً، تجاهل مجموعة User-agent: * تمامًا، ولو كان فيها قيود أشدّ.
وهذا يعني شيئين عمليّين:
- إن كتبت قيودًا تحت
*فقط، فكل رمز بلا مجموعة خاصة — ومنهGoogle-Extended— يتبعها. - وإن أنشأت مجموعة خاصة بأحدهم، فلا تنسَ أن تعيد فيها كل ما تريد سريانه عليه. نسيان سطر هناك يعني إلغاءه لا وراثته.
ماذا يقول سجلّنا؟
في نافذة رصد امتدّت ستّين ساعة على خادم icloudits.com سجّلنا ٣٣٣ زيارة زاحف من أربعة عشر وكيلًا. ظهر Googlebot بـ٢٤ زيارة، ولم يظهر Google-Extended ولا مرّة واحدة.
وهذا ليس نقصًا في الرصد — بل تأكيد للقاعدة: رمز التحكّم لا يزور. ولو انتظرت ظهوره في سجلّك لتتأكّد أنه «يعمل»، لانتظرت إلى الأبد.
ملاحظة ثانية من الرقم نفسه: ٢٤ زيارة في ٦٠ ساعة لموقع من ١٨٥ صفحة زحف منخفض. والأرجح أن سببه وزن النطاق الخارجي لا إعدادات robots.txt — وهذا تشخيص مختلف يحتاج علاجًا مختلفًا.
ثلاثة مواقف وما تكتبه في كلٍّ منها
| ما تريده | Googlebot | Google-Extended |
|---|---|---|
| أقصى ظهور (الموصى به لمواقع الشركات) | Allow: / | Allow: / |
| ظهور كامل مع منع التدريب | Allow: / | Disallow: / |
| خروج من جوجل كلّها | Disallow: / | لا يهمّ |
الصفّ الأوسط هو الموقف المتوازن لمن يريد حماية محتواه من التدريب دون أن يدفع ثمنًا من ظهوره. والصفّ الأخير نادرًا ما يكون قرارًا تجاريًا سليمًا.
أسئلة شائعة
هل حجب Google-Extended يخفض ترتيبي؟
لا. وجوجل نفسها تفصل بين الأمرين: الرمز يخصّ استخدام المحتوى في منتجات الذكاء، لا تقييم الصفحة في البحث.
لماذا لا أرى Google-Extended في سجلّ الخادم؟
لأنه لا يزور. ظهوره في السجلّ ليس المقياس؛ المقياس أن يكون مذكورًا صراحةً في ملفك بالإملاء الصحيح.
وما GoogleOther؟
زاحف حقيقي تستخدمه فرق في جوجل خارج فهرس البحث. حجبه لا يؤثّر على ترتيبك، لكن لا داعي لحجبه في الأحوال العادية.
هل أحتاج noindex بدل robots.txt؟
هما أداتان مختلفتان: robots.txt يمنع القراءة، وnoindex يسمح بالقراءة ويمنع الفهرسة. ولا تجمعهما على صفحة واحدة — الحجب يمنع الزاحف من رؤية أمر noindex أصلًا.
الخلاصة والحلقة القادمة
راجع ملفك اليوم وتأكّد من أمرين: أن Googlebot مسموح، وأن قرارك في Google-Extended قرار واعٍ لا نتيجة سطر عام كتبته على عجل. الرموز الكاملة في دليل الستّة والعشرين وكيلًا، وما تكتبه في الصفحة بعد فتح الباب شرحناه في كيف تكتب صفحة يقتبسها الذكاء الاصطناعي. والإطار الجامع لهذا كلّه هو تحسين محرّكات الإجابة التوليدية (GEO).
في الحلقة السادسة: قياس ظهورك في إجابات الذكاء الاصطناعي — ما الذي يمكن قياسه فعلًا، وما الذي يبيعه كثيرون على أنه قياس وهو ليس كذلك.
