Robots.txt Oluşturucu

Nasıl çalışır?

robots.txt, sitenizin kök klasöründe duran ve arama motoru botlarına hangi klasörleri taramamaları gerektiğini söyleyen düz metin dosyasıdır. Taranmasını istemediğiniz klasörleri sol panele her satıra bir tane yazın: /sepet/ ya da https://www.siteniz.com/sepet/ yazmanız fark etmez, araç ikisini de Disallow: /sepet/ satırına çevirir; başında / olmadan yazılan sepet ise /sepet olur ve /sepet-kampanya gibi adresleri de kapatır, klasör için sona / koyun. # ile başlayan satırlar açıklama sayılır ve dosyaya girmez. Kapalı bir klasörün içindeki tek sayfayı açmak için satırı Allow: /sepet/kampanya ile başlatın. Site haritanızın tam adresini yazarsanız dosyanın sonuna Sitemap satırı eklenir; https:// olmadan yazılan adres kabul edilmez, çünkü standart tam adres ister. Yapay zekâ eğitim botlarını engelle seçeneği GPTBot, ClaudeBot, Google-Extended gibi yedi botun her birine ayrı bir kapalı grup yazar. Dosyayı indirin, adını robots.txt olarak bırakın ve sitenizin en üst klasörüne yükleyin; WordPress'te bir SEO eklentisinin robots.txt düzenleyicisine de yapıştırabilirsiniz.

Bu araç robots.txt generator, gptbot engelleme aramalarıyla da biliniyor.

robots.txt nedir?

robots.txt, bir sitenin kök adresinde duran ve tarama botlarına hangi yolları gezmemeleri gerektiğini söyleyen düz metin dosyasıdır. 1994'ten beri kullanılır, 2022'de RFC 9309 ile standart oldu. Dosya User-agent satırıyla başlayan gruplardan oluşur; her grupta Disallow (kapat) ve Allow (aç) kuralları yer alır. Google en uzun, yani en belirli eşleşen kuralı uygular.

Disallow ve Allow nedir?

Disallow: /sepet/ satırı /sepet/ ile başlayan her adresi kapatır; Disallow: satırı boş bırakılırsa hiçbir şey kapalı değildir. Allow aynı yazımla bir yolu açar ve kapalı klasörün içinde istisna yapmak için kullanılır. * herhangi bir karakter dizisi, satır sonundaki $ adresin bittiği yer demektir: Disallow: /*.pdf$ bütün PDF dosyalarını kapatır.

robots.txt ile noindex arasındaki fark nedir?

robots.txt botun sayfayı okumasını engeller ama sayfanın arama sonuçlarında görünmesini tek başına engellemez: bağlantı alan kapalı bir adres içeriksiz olarak listelenebilir. noindex ise sayfanın içine konan bir etikettir ve arama motoruna bu sayfayı listelememesini söyler; ancak botun sayfayı okuyabilmesi gerekir. Tarama bütçesini boşa harcayan sepet ve filtre sayfaları için robots.txt, aramada hiç görünmemesi gereken teşekkür ya da taslak sayfası için noindex kullanın; ikisini aynı sayfada birlikte kullanmayın.

robots.txt ne yapar, ne yapmaz

robots.txt bir ricadır, kilit değildir. Google, Bing ve büyük yapay zekâ şirketlerinin botları kurala uyar; kötü niyetli bir bot dosyayı okumadan sayfalarınızı indirebilir. Gizli kalması gereken bir sayfayı (müşteri paneli, fatura klasörü) robots.txt ile değil parola ile koruyun.

Engellenen sayfa Google'da yine görünebilir: başka sitelerden bağlantı alan bir adres, içeriği okunmasa da yalnız adresiyle listelenebilir. Bir sayfayı arama sonuçlarından tamamen çıkarmak istiyorsanız sayfaya noindex etiketi koyun ve o sayfayı robots.txt'de kapatmayın; bot sayfayı okuyamazsa noindex'i de göremez.

Hangi durumda hangi ayar

Çoğu site için doğru dosya kısadır: sepet, hesap, arama sonucu ve yönetim klasörleri kapalı, geri kalan her şey açık. CSS ve JavaScript klasörlerini kapatmayın; Google sayfanızı çizerken bunları da okur, kapalıysa sayfayı eksik görür ve sıralaması zarar görebilir.

Yapım aşamasındaki sitede tüm siteyi kapatın ve yayına çıkarken bu ayarı mutlaka geri alın; unutulan Disallow: / satırı sitenin aramadan tamamen düşmesinin en sık sebebidir. Yapay zekâ botlarını engellemek içeriğinizin eğitim verisine girmesini sınırlar; listedeki botlar arama motoru botlarından ayrı olduğu için Google aramasındaki yerinizi etkilemez. ChatGPT arama ve Perplexity gibi yapay zekâ arama botları listede bilinçli olarak yoktur, çünkü engellenirse siteniz o aramaların cevaplarında kaynak olarak çıkmaz.

• Blog ya da tanıtım sitesi: yalnız /wp-admin/ kapalı, Allow: /wp-admin/admin-ajax.php açık
• E-ticaret: /sepet/, /hesabim/, /odeme/ ve filtre adresleri (/arama?) kapalı
• Yapım aşaması: Tüm botlar → Siteyi tarayamaz

Sık sorulanlar

robots.txt dosyası nereye yüklenir?

Sitenizin en üst (kök) klasörüne, adres çubuğunda www.siteniz.com/robots.txt olarak açılacak şekilde. Alt klasöre konan robots.txt (www.siteniz.com/blog/robots.txt) botlar tarafından okunmaz. Yükledikten sonra adresi tarayıcıda açıp dosyanın göründüğünü kontrol edin.

Site haritasını robots.txt'ye eklemek gerekli mi?

Zorunlu değil ama önerilir: Sitemap satırı, Search Console'a eklemediğiniz arama motorlarının da site haritanızı bulmasını sağlar. Adres tam yazılmalıdır (https:// ile). WordPress'te site haritası genelde /wp-sitemap.xml ya da SEO eklentisinin verdiği /sitemap_index.xml adresindedir.

GPTBot ve diğer yapay zekâ botları nasıl engellenir?

Yapay zekâ eğitim botları seçeneğini Engelle yapın. Araç GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini eğitimi), Applebot-Extended, CCBot (Common Crawl), Meta-ExternalAgent ve Bytespider için ayrı User-agent grupları yazar. Liste Eylül 2026 itibarıyla şirketlerin kendi belgelerine dayanır; yeni botlar çıktıkça güncellenmesi gerekir.

Yazdıklarım bir sunucuya gönderiliyor mu?

Hayır. robots.txt dosyası tamamen tarayıcınızda oluşturulur; klasör adlarınız ve site adresiniz bu sayfadan dışarı çıkmaz.