llms.txt در برابر robots.txt و schema.org: کدام واقعاً کنترل می‌کند هوش مصنوعی چه می‌خواند

سه فایل، سه کار متفاوت، و یکی از آن‌ها هیچ‌کدام از کارهایی که فکر می‌کنید را انجام نمی‌دهد.

در بحث «آماده‌سازی سایت برای هوش مصنوعی»، این سه نام تقریباً همیشه کنار هم می‌آیند، انگار سه گزینه برای یک کارند. نیستند. یکی دسترسی را کنترل می‌کند، یکی معنا را روشن می‌کند، و یکی فقط یک پیشنهاد است.

هرکدام در یک جمله

• robots.txt اعلام می‌کند کدام مسیرها نباید خزیده شوند.
• schema.org به ماشین می‌گوید محتوای این صفحه از چه نوعی است و با چه چیزهایی نسبت دارد.
• llms.txt منابع کلیدی سایت را برای مدل‌های زبانی معرفی می‌کند.

مقایسهٔ مستقیم

سطر سوم مهم‌ترین است. هیچ‌کدام از این سه فایل یک سازوکار اجرایی نیستند. robots.txt یک درخواست مؤدبانه است که خزنده‌های شناخته‌شده رعایت می‌کنند و بقیه نه.

رایج‌ترین اشتباه: llms.txt به‌عنوان کنترل دسترسی

بارها این را دیده‌ام: تیمی llms.txt می‌نویسد با این تصور که دارد تعیین می‌کند مدل‌ها اجازهٔ استفاده از چه چیزی را دارند.

llms.txt هیچ چیزی را ممنوع نمی‌کند. یک نقشهٔ راهنماست، نه یک قفل.

اگر می‌خواهید بخشی از سایت خزیده نشود، ابزارش robots.txt است — و حتی آن هم فقط برای خزنده‌هایی کار می‌کند که تصمیم گرفته‌اند رعایتش کنند. اگر می‌خواهید محتوایی واقعاً در دسترس نباشد، تنها راه واقعی احراز هویت است.

این تمایز عملی است، نه لفظی. تیمی که فکر می‌کند llms.txt از محتوایش محافظت می‌کند، تصمیم‌های اشتباهی دربارهٔ اینکه چه چیزی را منتشر کند می‌گیرد.

در هرکدام چه بنویسید

robots.txt. کوتاه نگهش دارید. مسیرهای عملیاتی که هیچ ارزش عمومی ندارند را ببندید: ورود، پرداخت، فیلترهای بی‌پایان، و صفحات نتیجهٔ جستجوی داخلی. مسیر نقشهٔ سایت را اعلام کنید. اگر می‌خواهید دربارهٔ خزنده‌های هوش مصنوعی موضع بگیرید، اینجا جایش است.

schema.org. نوع اصلی هر صفحه را علامت بزنید و به همان بسنده کنید. برای مقاله، نویسنده و تاریخ به‌روزرسانی. برای صفحهٔ خدمات، ارائه‌دهنده و نوع خدمت. نشانه‌گذاری بیش از حد، بیش از کم‌بودنش ضرر دارد.

llms.txt. فهرست کوتاهی از مهم‌ترین منابع، هرکدام با یک خط توضیح که می‌گوید آن صفحه چه سؤالی را پاسخ می‌دهد. توضیح‌ها اهمیت دارند؛ فهرست بدون آن‌ها فقط یک نقشهٔ سایت دیگر است.

گزینهٔ چهارمی که کمتر نام برده می‌شود

یک نمایهٔ JSON از هویت و تخصص — چیزی شبیه ai-profile.json — کاری می‌کند که هیچ‌کدام از آن سه نمی‌کنند: ادعاهای صریح و قابل راستی‌آزمایی دربارهٔ اینکه شما که هستید، چه می‌دانید، و منبع آن دانش چیست.

این هنوز استاندارد نیست و نتیجه‌اش قطعی نیست. ولی هزینه‌اش یک ساعت است و برخلاف سه مورد قبلی، محتوای معنایی تازه تولید می‌کند به‌جای اینکه محتوای موجود را برچسب بزند.

یک راه‌اندازی کمینه که هر سه را پوشش می‌دهد

1. در robots.txt فقط مسیرهای عملیاتی و بی‌ارزش را ببندید و نقشهٔ سایت را اعلام کنید. یک بار انجام می‌شود.
2. برای هر مقاله schema از نوع Article با نویسنده و تاریخ اضافه کنید. معمولاً یک تغییر در قالب است، نه کار به‌ازای هر صفحه.
3. یک llms.txt با پنج تا پانزده منبع کلیدی بنویسید، هرکدام با یک خط توضیح.
4. یک نمایهٔ هویتی ساختاریافته اضافه کنید و از صفحهٔ اصلی به آن پیوند بدهید.

مجموع: کمتر از یک روز کار. کل این کار زیرساخت است — بخش سختِ ماجرا هنوز خود محتواست.

چرا robots.txt دیگر کافی نیست

robots.txt در دنیایی طراحی شد که خزنده محتوا را برمی‌داشت تا در نتایج جستجو به آن پیوند بدهد. معامله روشن بود: شما دسترسی می‌دادید، موتور ترافیک برمی‌گرداند.

موتور پاسخ آن معامله را عوض می‌کند. محتوا خوانده می‌شود، پاسخ ساخته می‌شود، و کاربر ممکن است هرگز به سایت شما نرسد. robots.txt هیچ زبانی برای بیان این تمایز ندارد — نمی‌توانید بگویید «برای ایندکس بله، برای آموزش نه، برای پاسخ با ذکر منبع بله».

چند خزنده حالا با نام کاربری جداگانه‌ای برای مقاصد مختلف می‌آیند، که تا حدی این را ممکن می‌کند. ولی این هم یک قرارداد داوطلبانه است و پوشش کاملی ندارد. تصمیمی که واقعاً در اختیار شماست، نه فنی است و نه در این فایل‌ها: اینکه چه چیزی را عمومی منتشر کنید و چه چیزی را پشت احراز هویت نگه دارید.

ترتیب کار، اگر از صفر شروع می‌کنید

اگر امروز از ابتدا شروع می‌کردم، ترتیب این بود:

1. سه تا پنج نوشتهٔ ساختاریافته با جدول، تعریف و عدد. این تنها بخشی است که واقعاً وقت می‌برد.
2. schema پایه روی همان‌ها — نویسنده و تاریخ به‌روزرسانی.
3. یک llms.txt که به همان سه تا پنج نوشته اشاره می‌کند.
4. یک نمایهٔ هویتی ساختاریافته.
5. مرور robots.txt، فقط برای بستن مسیرهای بی‌ارزش.

بیشتر تیم‌ها این ترتیب را برعکس اجرا می‌کنند، چون مراحل چهار و پنج قابل انجام در یک بعدازظهرند و مرحلهٔ اول نیست.

یک نمونهٔ واقعی: ترتیبی که اشتباه بود

یک تیم محصول چهار روز صرف کرد تا هر سه فایل را دقیق پیاده کند، با نشانه‌گذاری کامل و یک llms.txt مفصل با چهل ورودی.

سه ماه بعد، تقریباً هیچ نقلی وجود نداشت. علتش هم پیچیده نبود: چهل صفحه‌ای که در llms.txt معرفی شده بودند، همگی صفحات فروش بودند. هیچ‌کدام یک تعریف، یک جدول، یا یک عدد قابل نسبت‌دادن نداشتند.

فایل‌ها درست بودند. چیزی که به آن اشاره می‌کردند، قابل نقل نبود.

تیم بعداً ترتیب را برعکس کرد: اول شش نوشتهٔ ساختاریافته با جدول و تعریف، بعد به‌روزرسانی llms.txt برای اشاره به همان‌ها. کل کار زیرساختی نیم روز طول کشید و این بار اثر داشت.

چطور بفهمید درست کار می‌کند

هر سهٔ این فایل‌ها بی‌صدا شکست می‌خورند. یک اشتباه نگارشی در robots.txt یا یک خطای نشانه‌گذاری، هیچ هشداری تولید نمی‌کند.

سه بررسی که ارزش انجام دارند و هرکدام چند دقیقه طول می‌کشند: نشانه‌گذاری هر نوع صفحه را یک بار با یک ابزار اعتبارسنجی ساختاریافته بیازمایید؛ فایل robots.txt را روی چند مسیر واقعی آزمایش کنید تا ببینید همان چیزی را می‌بندد که فکر می‌کنید؛ و llms.txt را باز کنید و مطمئن شوید همهٔ لینک‌هایش هنوز زنده‌اند.

مورد سوم بیشترین احتمال خرابی را دارد، چون ساختار سایت با گذر زمان عوض می‌شود و این فایل به‌ندرت بازبینی می‌شود.

محدودیت‌هایی که باید صریح بگویید

• هیچ‌کدام از این‌ها رتبه را تضمین نمی‌کنند و هر ادعایی در این جهت، فروش است.
• llms.txt هنوز پذیرش یکنواختی ندارد؛ ممکن است در دو سال آینده جایگزین شود.
• نشانه‌گذاری نادرست از نبودش بدتر است، چون به‌عنوان بی‌دقتی خوانده می‌شود.
• هیچ‌کدام محتوای بی‌ارزش را قابل نقل نمی‌کنند.

آیا باید خزنده‌های هوش مصنوعی را ببندم؟

بستگی به مدل کسب‌وکار دارد. اگر درآمدتان از ترافیک محتواست، دلیل واقعی برای بحث وجود دارد. اگر محتوا برای اعتبار و جذب مشتری است، بستن آن‌ها یعنی حذف خودتان از جایی که مشتری دارد جستجو می‌کند.

llms.txt را کجا بگذارم؟

در ریشهٔ دامنه، مثل robots.txt. برخی سایت‌ها نسخهٔ کاملی هم برای متن کامل منابع کلیدی منتشر می‌کنند.

چند وقت یک‌بار به‌روزرسانی شود؟

robots.txt به‌ندرت. schema هنگام تغییر قالب. llms.txt هر بار که یک نوشتهٔ محوری جدید منتشر می‌شود — که در عمل یعنی هر چند ماه.

جمع‌بندی

robots.txt می‌گوید کجا نروید. schema.org می‌گوید این چیست. llms.txt می‌گوید از کجا شروع کنید. هیچ‌کدام نمی‌گویند این را نقل کن — آن را محتوا تعیین می‌کند.

نمونهٔ زندهٔ هر سه به‌همراه یک نمایهٔ ساختاریافته، در صفحهٔ ماشین‌خوان همین سایت قابل مشاهده است.