- Ana sayfa
- SEO ve Pazarlama
- Robots.txt Oluşturucu
Robots.txt Oluşturucu
Yol kuralları, sitemap satırları, yapay zekâ botu engelleri ve içerik sinyalleriyle robots.txt dosyası oluşturun.
Ne işe yarar?Yapay zekâ botları ve içerik sinyalleri
Cloudflare ile aynı ayrım kullanılır: eğitim, yapay zekâ araması ve asistanlar. Googlebot, bingbot ve Applebot gibi arama motoru botları bu listelerde yer almaz.
Yollar ve diğer botlar
Ne işe yarar?
Kural grupları nasıl çalışır
Her grup bir botu user-agent değeriyle hedefler; * tüm botlar demektir. Varsayılan olarak neye izin verildiğini seçin, sonra istisna olan yolları listeleyin. Dosyayı sitenizin köküne koyun, örneğin https://example.com/robots.txt.
Yapay zekâ ayarları ne yapar
Yapay zekâ eğitimini engelle seçeneği, Cloudflare yönetimli robots.txt dosyasındaki botlar için Disallow kuralları yazar: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Amazonbot ve meta-externalagent; ayrıca yapay zekâ botu listesinden Google-CloudVertexBot ve FacebookBot. Yapay zekâ araması ve asistanlar ayrı tutulur, bu yüzden sıradan arama botları izinli kalır.
İçerik sinyalleri, bir botun aldığı içeriği nasıl kullanabileceğini söyler: search arama dizini için, ai-input anlık cevaplar için, ai-train model eğitimi için, use ise saklayabileceği şeyler içindir. Dosya yalnızca bir tercih bildirir. Bot bunu yok sayabilir; isteği gerçekten engellemek sunucuda veya bir proxy üzerinde yapılmalıdır.