Robots.txt Dosyası Nedir ve Nasıl Oluşturulur?

Robots.txt Dosyası Nedir ve Nasıl Oluşturulur? (SEO Uyumlu Kapsamlı Rehber)

Robots.txt, web sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Arama motoru botlarına (crawler’lara) sitenizde hangi sayfaları tarayabileceklerini ve hangilerini taramayacaklarını söyleyen bir talimat dosyasıdır. 1994’ten beri kullanılan bu protokol, 2022’de resmi standart haline gelmiştir ve 2026’da hem klasik SEO hem de yapay zeka destekli arama motorları (AEO) için kritik önemini korumaktadır.

Kısaca: Robots.txt, sitenizin crawl budget‘ını (tarama bütçesi) yönetmenize, sunucu yükünü azaltmanıza ve düşük değerli veya hassas sayfaların gereksiz yere taranmasını önlemenize yardımcı olur.

Robots.txt Ne İşe Yarar? (SEO Açısından Önemi)

• Crawl Budget Yönetimi: Arama motorları sitenizi taramak için sınırlı kaynak ayırır. Büyük sitelerde veya e-ticaret platformlarında filtreli sayfalar, arama sonuçları, admin panelleri gibi alanlar crawl bütçesini boşa harcayabilir. Robots.txt ile bunları bloke ederek botların kaliteli içeriklere odaklanmasını sağlarsınız.
• Düşük Değerli İçeriklerin Engellenmesi: Teşekkür sayfaları, sepet sayfaları, duplicate content üreten filtreler, test klasörleri gibi alanlar aranabilir sonuçlarda görünmemesi gereken yerlerdir.
• AI Crawler Kontrolü: 2026’da GPTBot, ClaudeBot, PerplexityBot gibi yapay zeka botları da robots.txt’i kontrol eder. İçeriğinizi AI eğitim verisi olarak kullanılmasını istemiyorsanız belirli botları bloke edebilirsiniz (ancak bu, AI arama sonuçlarında görünürlüğünüzü de etkileyebilir).
• Sitemap Yönlendirmesi: Robots.txt’e sitemap.xml linkinizi ekleyerek botlara sitenizin haritasını doğrudan gösterebilirsiniz.

Önemli Uyarı: Robots.txt güvenlik aracı değildir. Yasaklı sayfalar hala URL üzerinden erişilebilir olabilir. Gerçek koruma için .htaccess, parola koruması veya noindex meta tag’leri kullanın. Ayrıca robots.txt ile bloke edilen sayfalar indekslenebilir ancak snippet (açıklama) göstermeyebilir.

Robots.txt Temel Söz Dizimi (Syntax)

Robots.txt dosyası düz metin (.txt) formatında olmalıdır. Ana direktifler şunlardır:

• User-agent: Hangi bot için kural geçerli? * tüm botlar için geçerlidir.
• Disallow: Erişimi engelle (tarama yasakla).
• Allow: Erişime izin ver (özellikle Disallow ile çakışan durumlarda kullanılır).
• Sitemap: XML sitemap konumunu belirt.
• Crawl-delay (bazı botlarda): Botun istekler arasındaki bekleme süresi (saniye cinsinden).

Kurallar User-agent grubu altında toplanır ve her kural yeni satırda yazılır.

Robots.txt Nasıl Oluşturulur? (Adım Adım)

1. Dosya Oluşturma:

• Not Defteri (Windows) veya TextEdit (Mac) gibi basit bir metin editörü kullanın. Word gibi programlar gizli format ekleyebilir, sakının.
• Dosyayı tam olarak robots.txt adıyla kaydedin (küçük harf, uzantısız değil).

1. Yükleme:

• Dosyayı sitenizin kök dizinine yükleyin (örnek: https://www.example.com/robots.txt).
• WordPress’te Yoast SEO veya Rank Math eklentileri ile yönetebilirsiniz.
• Shopify’de Tema > robots.txt.liquid dosyası üzerinden düzenlenir.
• cPanel, FTP veya hosting dosya yöneticisi ile root klasöre (public_html) yükleyin.

1. Test Etme:

• Google Search Console > URL Denetleme > robots.txt Tester aracını kullanın.
• Tarayıcıda https://siteniz.com/robots.txt yazarak dosyanızı kontrol edin.

SEO Uyumlu Örnek Robots.txt Dosyaları

1. Basit ve En Çok Tavsiye Edilen (Çoğu Site İçin Yeterli)

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap.xml

2. WordPress İçin Önerilen Temiz Versiyon

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-content/uploads/

Sitemap: https://www.example.com/sitemap_index.xml

3. E-ticaret (Shopify veya Benzeri) İçin Örnek

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /orders/
Disallow: /search?q=*
Disallow: /collections/*?filter=*
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

4. AI Crawler’ları Kontrol Eden Modern Versiyon (2026)

User-agent: *
Disallow: /private/
Disallow: /admin/
Allow: /

User-agent: GPTBot
Disallow: /  # AI eğitim verisi olarak kullanılmasını engellemek isterseniz

User-agent: Googlebot
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Sık Yapılan Hatalar ve Best Practices (2026 SEO)

• Tüm siteyi bloke etmeyin: Disallow: / yazarsanız siteniz hiç taranmaz.
• Allow ve Disallow sırası: En spesifik kurallar önce yazılmalı (özellikle Allow).
• Joker karakterler (* ve $): Dikkatli kullanın. /collections/*?sort_by=* gibi filtreleri bloke etmek faydalı olabilir.
• Çok karmaşık yapmayın: Basit tutun. Gereksiz kurallar hatalara yol açar.
• Sitemap eklemeyi unutmayın: Botlara yol göstermesi açısından çok faydalıdır.
• Değişiklik sonrası test edin: Her düzenlemeden sonra Google Search Console ile doğrulayın.
• Meta robots tag’leri ile kombinleyin: Crawl için robots.txt, indeks için noindex kullanın.
• AI dönemi için: İçeriğinizi AI arama sonuçlarında (Google AI Overviews, Perplexity vb.) göstermek istiyorsanız AI botlarını genellikle Allow bırakın.

Robots.txt, teknik SEO’nun temel taşlarından biridir. Doğru kullanıldığında sitenizin daha hızlı indekslenmesini, crawl bütçesinin verimli harcanmasını ve gereksiz yükün azalmasını sağlar.

Sitenizin türüne (blog, e-ticaret, kurumsal) göre robots.txt’inizi özelleştirmek isterseniz mevcut robots.txt dosyanızı paylaşın veya platformunuzu (WordPress, Shopify vb.) belirtin; size özel önerilerde bulunabilirim.

Bu rehberi uyguladıktan sonra Google Search Console’da “Coverage” ve “Crawled – currently not indexed” raporlarını kontrol etmeyi unutmayın. Sorularınız olursa yorumlarda bekliyorum!

SEO İpuçları:

• Robots.txt’i düzenli olarak gözden geçirin.
• Büyük sitelerde crawl stats raporlarını takip edin.
• Noindex + robots.txt kombinasyonu ile duplicate content sorunlarını minimize edin.