ما هو ملف llms.txt ولماذا قد لا تحتاجه؟

الجواب المباشر: llms.txt ملف نصّي بسيط تضعه في جذر موقعك، يقدّم لنماذج الذكاء الاصطناعي فهرسًا مختصرًا ومرتّبًا لأهم صفحاتك بصيغة Markdown. وهو اقتراح مجتمعي لا معيارًا مُلزِمًا: لا توجد حتى كتابة هذا المقال جهة كبرى أعلنت رسميًا أنها تعتمده في زحفها، بل صرّح ممثلو جوجل أكثر من مرّة بأن محرّك البحث لا يستخدمه. لذلك فإن وجوده لا يضرّ، لكنه لا يُغني عن شيء، ولا يجوز أن يأخذ من وقتك ما تستحقّه أمور أثبتت أثرها.

ما هو llms.txt بالضبط؟

الفكرة التي وُلد منها الملف واضحة: صفحات الويب الحديثة مثقلة بالقوائم والإعلانات وسكربتات التتبّع، ونموذج اللغة حين يقرؤها يُهدر جزءًا كبيرًا من نافذته على ضجيج لا علاقة له بالمحتوى. فلماذا لا نضع للنموذج نسخة نظيفة؟

الملف — كما يُقترَح — نصّ عادي في https://example.com/llms.txt، يبدأ بعنوان رئيسي باسم الموقع، ثم سطر ملخّص واحد يشرح ما تقدّمه الجهة، ثم أقسام يندرج تحت كلٍّ منها روابط الصفحات المهمّة مع وصف سطري لكل رابط. لا أكثر. وهناك صيغة موسّعة باسم llms-full.txt تضع نصّ الصفحات كاملًا داخل ملف واحد، وهي اختيارية بالكامل.

لاحظ ما لا يفعله الملف: لا يمنع أحدًا من الزحف، ولا يفتح بابًا مغلقًا، ولا يرفع ترتيبًا. هو عرض لا أمر.

الفرق بينه وبين robots.txt و sitemap.xml

الخلط بين الثلاثة هو أكثر ما يُفسد فهم الموضوع. الفروق جوهرية لا شكلية:

باختصار: robots.txt يقول «مسموح أو ممنوع»، وsitemap.xml يقول «هذه كل صفحاتي»، وllms.txt يقول «وهذه أهمّها ولماذا». الأول والثاني يعملان سواء قرأهما أحد أم لا، لأن الجهات تعتمدهما. الثالث يعمل فقط إن قرّرت جهةٌ ما قراءته.

من يدعمه فعلًا؟

هنا موضع الصراحة. التبنّي بين أصحاب المواقع واسع — كثير من منصّات الوثائق التقنية تولّد الملف تلقائيًا اليوم. أما التبنّي من الطرف الآخر، أي من الشركات التي تبني النماذج، فما زال غير معلن. لم تُصدر أيٌّ منها توثيقًا يقول: «نقرأ llms.txt ونعطيه وزنًا». وموقف جوجل المُعلن أصرح من ذلك: لا حاجة إليه.

وهذا لا يعني أن الملف عديم القيمة. فالأدوات والوكلاء الأصغر قد يقرؤونه، وبعض فرق التطوير تستخدمه لتغذية مساعداتها الداخلية. لكن الصدق يقتضي وصفه بما هو: رهان على مستقبل محتمل، لا بنية تحتية عاملة اليوم.

ماذا تقول بيانات خادمنا؟

نرصد على خادم icloudits.com زيارات وكلاء الذكاء الاصطناعي بالاسم. في نافذة رصد امتدّت ستّين ساعة (١٥ → ١٨ سبتمبر ٢٠٢٦) سجّلنا ٣٣٣ زيارة زاحف، منها ١٧١ زيارة لوكلاء ذكاء اصطناعي مقابل ١٣٧ لمحرّكات البحث التقليدية. وكان ChatGPT-User عند ٥٠ زيارة مقابل ٢٤ لـGooglebot.

وعلى الموقع نفسه ملف llms.txt موجود وسليم البنية: يستجيب بـ HTTP 200، حجمه ٥٧ كيلوبايت، وفيه سبعة أقسام و١٩٧ رابطًا. أما llms-full.txt فغير موجود، وهذا مقبول لأن المقترَح لا يوجبه.

فما الذي تثبته هذه الأرقام؟ تثبت أن الوكلاء يأتون فعلًا. وما لا تثبته — ولا يثبته أي سجلّ خادم — أن مجيئهم كان بسبب الملف. الذي فتح الباب هو robots.txt الذي يسمح لهم صراحةً، وخريطة الموقع التي تعرّفهم بالصفحات، والمحتوى الذي يستحقّ الاقتباس.

متى يكون إضافة حقيقية ومتى يكون ديكورًا؟

يكون إضافة حقيقية حين:

• يكون موقعك توثيقًا تقنيًا أو مرجعًا كثيف المحتوى، وتريد للقارئ الآلي مدخلًا نظيفًا.
• تولّده أداتك تلقائيًا من بنية الموقع، فتكلفته دقائق وتحديثه مضمون.
• تستخدمه أنت داخليًا لتغذية مساعد ذكي يخصّ فريقك أو عملاءك.

ويكون ديكورًا حين:

• تكتبه يدويًا ثم تنساه، فيصير خريطة لصفحات تغيّرت أو حُذفت — وملفٌ قديم أسوأ من لا ملف.
• تعتقد أنه يرفع ترتيبك أو يُدخلك في إجابات الذكاء الاصطناعي بذاته. لا يفعل.
• تنشغل به بينما robots.txt عندك يحجب وكلاء الذكاء الاصطناعي دون أن تدري، أو صفحاتك تؤجّل جوابها إلى الفقرة العاشرة.

الترتيب الصحيح للأولويات واضح: أوّلًا افتح الباب في robots.txt للوكلاء الذين تريد حضورهم — وهذا ما فصّلناه في الحلقة الأولى عن GPTBot و ChatGPT-User و OAI-SearchBot. ثانيًا اكتب صفحات تجيب فورًا وتستحقّ الاقتباس. ثالثًا — وبعد ذلك فقط — أضف llms.txt إن كانت تكلفته قريبة من الصفر.

أسئلة شائعة

الخلاصة والحلقة القادمة

llms.txt فكرة معقولة بلا التزام من أحد. ضَعه إن كان توليده مجانيًا وصيانته تلقائية، ولا تبنِ عليه خطّتك. الجهد الذي يُحدث فرقًا مقيسًا اليوم هو ضبط الأذونات وكتابة محتوى قابل للاقتباس — وهو جوهر ما نعمل عليه في تحسين محرّكات الإجابة التوليدية (GEO).

في الحلقة الثالثة: دليل عربي كامل بـ٢٦ زاحف ذكاء اصطناعي — اسم كل وكيل، الجهة المالكة، وظيفته (تدريب أم فهرسة أم جلب فوري)، وسطر robots.txt الخاص به جاهزًا للنسخ.