Robots.txt Generator

Robots.txt Generator aracı, web siteniz için arama motoru botlarının (Googlebot, Bingbot, YandexBot vb.) tarama kurallarını belirleyen profesyonel, SEO uyumlu ve optimize edilmiş bir robots.txt dosyası oluşturmanızı sağlayan ücretsiz bir çevrimiçi araçtır. Sitenizin arama motorları tarafından nasıl taranacağını kontrol etmek, tarama bütçenizi (crawl budget) yönetmek ve sitenizin önemli sayfalarının arama botları tarafından daha verimli bir şekilde taranmasını sağlamak için saniyeler içinde robots.txt dosyanızı özelleştirerek oluşturabilirsiniz. Sitenizin teknik SEO altyapısını güçlendirmek ve bot trafiğini düzenlemek için bu dosya kritik bir rol oynamaktadır.

Robots.txt Dosyası Nedir ve Nasıl Çalışır?

Robots.txt, web sitelerinin kök dizininde (root directory) yer alan ve arama motoru örümceklerine hangi sayfaların veya dizinlerin taranıp taranamayacağını bildiren standart bir düz metin (plain text) dosyasıdır. Bu dosya, Robots Hariç Tutma Protokolü (Robots Exclusion Protocol - REP) standartlarına dayanır.

Bir arama motoru botu web sitenizi ziyaret ettiğinde, ilk olarak sitenizin ana dizininde bir robots.txt dosyası olup olmadığını kontrol eder. Eğer dosya mevcutsa, bot dosyadaki yönergeleri (Disallow/Allow) okur ve bu kurallara göre sitenizdeki sayfaları taramaya başlar. Eğer dosya yoksa, arama motoru sitenizdeki tüm sayfaların taranmasına izin verildiğini varsayar.

Robots.txt İçerisindeki Temel Yönergeler ve Parametreler

Robots.txt dosyasının yapısı oldukça basit görünse de, yazılan her bir karakter botların sitenizi indeksleme şeklini doğrudan etkiler. Dosya içerisinde kullanılan en yaygın yönergeler şunlardır:

1. User-agent

Hangi arama motoru botu için kural yazıldığını belirtir. Yıldız simgesi (*), tüm arama motoru botlarını kapsadığını ifade eder.

• Örnek: User-agent: Googlebot (Sadece Google'ın tarama botu için kurallar geçerlidir).
• Örnek: User-agent: * (Tüm arama motoru botları için kurallar geçerlidir).

2. Disallow

Arama motoru botlarının taramasını istemediğiniz dizin, klasör veya spesifik sayfaları belirtmek için kullanılır.

• Örnek: Disallow: /admin/ (Arama botlarının admin klasöründeki hiçbir şeyi taramasına izin verilmez).

3. Allow

Disallow yönergesinin istisnalarını belirlemek için kullanılır. Genellikle bir klasörün tamamını engellerken, o klasör içindeki belirli bir dosyaya izin vermek için tercih edilir.

• Örnek: Allow: /wp-admin/admin-ajax.php (Tüm /wp-admin/ klasörü engelliyken bu dosyanın taranmasına izin verilir).

4. Sitemap

Web sitenizin site haritasının (sitemap.xml) yerini arama motorlarına bildiren mutlak URL'dir. Robots.txt dosyasının en altına eklenmesi, arama motorlarının sitenizi çok daha hızlı haritalandırmasını sağlar.

• Örnek: Sitemap: https://siteniz.com/sitemap.xml

5. Crawl-delay (Tarama Gecikmesi)

Arama motoru botlarının sunucunuzu çok sık ziyaret edip yormasını önlemek için saniye cinsinden gecikme süresi tanımlar. Googlebot bu parametreyi dikkate almaz (Google Search Console üzerinden ayarlanır), ancak Yandex ve Bingbot bu kurala uyar.

• Örnek: Crawl-delay: 5 (Botlar her istek arasında 5 saniye bekler).

Robots.txt Yazım Kuralları ve Sık Kullanılan Şablonlar

Robots.txt dosyasında kuralları belirlerken aşağıdaki standart şablonları rehber edinebilirsiniz:

Tüm Sitenin Taramaya Kapatılması (Geliştirme Aşamasındaki Siteler İçin)

Web siteniz henüz yapım aşamasındaysa veya test ortamındaysa, arama motorlarının sitenizi dizine eklemesini önlemek için şu kuralları kullanabilirsiniz:

User-agent: *
Disallow: /

Tüm Sitenin Taramaya Açılması

Tüm sitenin serbestçe taranmasını istiyorsanız robots.txt içeriğini şu şekilde tutabilirsiniz:

User-agent: *
Disallow:

Klasik WordPress / E-Ticaret Robots.txt Şablonu

Standart bir web sitesi veya blog için en optimize edilmiş robots.txt kuralları aşağıdaki gibidir:

User-agent: *
Disallow: /wp-admin/
Disallow: /admin/
Disallow: /bin/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /temp/
Disallow: /search/
Allow: /wp-admin/admin-ajax.php
Allow: /

Sitemap: https://siteniz.com/sitemap.xml

Robots.txt Oluştururken Dikkat Edilmesi Gereken Kritik SEO Hataları

Robots.txt dosyasını yanlış yapılandırmak sitenizin arama motorlarındaki görünürlüğünü ciddi şekilde zedeleyebilir. İşte kaçınmanız gereken yaygın hatalar:

1. CSS ve JavaScript Dosyalarını Engellemek: Google, artık web sayfalarını tıpkı bir insan gibi render edip görsel analize tabi tutmaktadır. Eğer sitenizin tasarımını oluşturan .css veya dinamik yapıyı kuran .js dosyalarını engellerseniz, Google sayfanızı hatalı algılayabilir ve sıralama kaybı yaşayabilirsiniz.
2. Hassas Dosyaları Gizleme Aracı Olarak Kullanmak: Robots.txt dosyası herkes tarafından erişilebilen halka açık bir dosyadır (siteniz.com/robots.txt yazan herkes okuyabilir). Bu yüzden gizli yönetici dosyalarını, şifreleri veya özel müşteri bilgilerini burada engellemek onları güvenceye almaz, aksine varlıklarını ifşa eder. Bu dosyaları şifreyle veya sunucu düzeyinde korumalısınız.
3. Büyük-Küçük Harf Duyarlılığına Dikkat Etmemek: Arama motorları robots.txt dosyasını okurken büyük-küçük harf ayrımına dikkat eder. /Admin/ dizini ile /admin/ dizini botlar için farklıdır. Dizin isimlerinizi tam olarak yazmalısınız.
4. Noindex Yönergesini Buraya Eklemek: Geçmişte robots.txt içinde kullanılan Noindex: /sayfa gibi yönergeler artık Google tarafından resmi olarak desteklenmemektedir. Bir sayfanın Google dizinine girmesini istemiyorsanız, o sayfanın <head> bölümüne <meta name="robots" content="noindex"> etiketini eklemelisiniz.

Robots.txt Generator Aracı Nasıl Kullanılır?

Vexpia Robots.txt Generator aracını kullanarak SEO uyumlu dosyanızı oluşturmak son derece kolaydır:

1. Web Sitesi Adresini Girin: Web sitenizin alan adını (örneğin https://example.com) ilgili alana yazın.
2. Site Haritası URL'sini Belirleyin (İsteğe Bağlı): Eğer standart /sitemap.xml dışında özel bir site haritası yolu kullanıyorsanız, "Site Haritası URL (Sitemap)" alanına bu adresi girin. Boş bırakırsanız, sistem otomatik olarak sitenizin ana dizinine bağlı bir /sitemap.xml yolu atar.
3. Dosyayı Oluşturun: "Robots.txt Oluştur" butonuna tıklayarak dosyanızı milisaniyeler içinde hazır hale getirin.
4. İndirin veya Kopyalayın: İndir butonuna tıklayarak dosyayı doğrudan bilgisayarınıza veya telefonunuza robots.txt adıyla kaydedebilir ya da Kopyala butonuyla kopyalayabilirsiniz.
5. Yayınlayın: İndirdiğiniz dosyayı sitenizin FTP veya cPanel dosya yöneticisi aracılığıyla ana dizine (genellikle public_html veya wwwroot) yükleyin.

Sıkça Sorulan Sorular (SSS)

robots.txt dosyasını siteme nasıl yüklerim?

Oluşturduğunuz robots.txt dosyasını web sitenizin ana (root) klasörüne yüklemeniz gerekir. Dosya yüklendiğinde tarayıcınızdan https://siteniz.com/robots.txt adresine gittiğinizde doğrudan görüntülenebilmelidir.

robots.txt dosyasında bir sayfayı engellemek, o sayfanın Google'da çıkmasını kesin engeller mi?

Hayır. Sadece arama motorlarının o sayfayı taramasını engeller. Eğer engellediğiniz sayfaya başka web sitelerinden veya kendi sitenizin diğer taranabilir sayfalarından link verilmişse, Google o sayfayı dizine ekleyebilir ve arama sonuçlarında gösterebilir. Sayfanın Google sonuçlarında kesinlikle çıkmasını istemiyorsanız sayfa kodlarına noindex etiketi eklemelisiniz.

robots.txt dosyasının maksimum boyutu ne kadar olmalıdır?

Google, robots.txt dosyasının boyutunun en fazla 500 KB olmasını önerir. Bu sınırın üzerindeki dosyalar arama botları tarafından yok sayılabilir veya taranmayabilir. Zaten normal bir web sitesi için robots.txt dosyasının boyutu birkaç kilobaytı asla geçmemelidir.

robots.txt dosyamı nasıl test edebilirim?

Google Search Console hesabınızda bulunan "robots.txt Test Aracı" (robots.txt Tester) üzerinden dosyanızı test edebilir, yazdığınız engelleme kurallarının istediğiniz sayfaları doğru bir şekilde kısıtlayıp kısıtlamadığını simüle edebilirsiniz.