فایل robots.txt درباره مجاز بودن خزش مسیرها راهنمایی می‌دهد. این فایل جایگزین رمز عبور، کنترل دسترسی یا دستور قطعی حذف یک URL از نتایج جستجو نیست.
مسیر عمومی و خصوصی را درست تشخیص دهید
فایل‌های موردنیاز نمایش صفحه، مانند CSS و تصویر اصلی، را بی‌دلیل مسدود نکنید. اگر گوگل نتواند منابع را بخواند، برداشت کامل صفحه دشوارتر می‌شود. مسیرهای عملیاتی و کم‌ارزش برای خزش را با دقت انتخاب کنید و اثر قانون‌های عمومی را بر زیرمسیرها بررسی کنید.
برای اطلاعات خصوصی به احراز هویت تکیه کنید
محدود کردن خزش به این معنی نیست که فایل قابل دانلود نیست. پوشه تنظیمات و اسناد خصوصی باید در سطح سرور محافظت شوند و هر درخواست دسترسی لازم را بررسی کند. همچنین یک نشانی مسدودشده ممکن است از طریق لینک‌های بیرونی شناخته شود؛ برای جلوگیری از ایندکس، وضعیت صفحه و دستور مناسب را جدا بررسی کنید.
نسخه محیط آزمایش را به انتشار نبرید
قانون مسدودسازی کامل که برای محیط آزمایش نوشته شده، می‌تواند هنگام انتقال به دامنه اصلی فراموش شود. پس از انتشار، فایل را مستقیم از ریشه دامنه باز کنید و مطمئن شوید نشانی sitemap درست است. robots یک فایل متنی ساده است و به قالب HTML نیاز ندارد.
- قانون کلی را پیش از ذخیره بازبینی کنید.
- حفاظت داده‌های خصوصی را مستقل آزمون کنید.
- منابع ضروری صفحات عمومی را در دسترس نگه دارید.
