Siteniz İçin Robots.txt Dosyası Oluşturun

Siteniz İçin Robots.txt Dosyası Oluşturun

Tarayıcılara izin vereceğiniz veya engelleyeceğiz kuralları seçin, robots.txt dosyasını indirin.

Leave blank if you don't have.

Google
Google Image
Google Mobile
MSN Search
Yahoo
Yahoo MM
Yahoo Blogs
Ask/Teoma
GigaBlast
DMOZ Checker
Nutch
Alexa/Wayback
Baidu
Naver
MSN PicSearch

The path is relative to the root and must contain a trailing slash "/".

Robots.txt dosyanız, bir arama motorunun sitenizi ziyaret ettiğinde ilk baktığı yerdir. Google'a nereye girebileceğini ve neyi yok sayması gerektiğini söyler. Yanlış yaparsanız tüm sitenizi yanlışlıkla arama sonuçlarından gizleyebilirsiniz. Doğru yaparsanız sunucunuzu gereksiz işlerden kurtarırsınız.

Çoğu geliştirici bu dosyayı sonradan akla gelen bir iş olarak görür. Rastgele bir forumdan şablon kopyalar ve unutur. Bu bir kumardır. Robots.txt dosyasındaki hatalı bir kural CSS veya JS dosyalarınızı engelleyebilir ve siteniz Googlebot'a bozuk görünür. Kontrolü ele alın ve sitenizin yapısına gerçekten uyan bir dosya oluşturun.

Robots.txt Neden Önemli?

Kariyerimin başlarında sitemin arama sonuçlarını temizlemek istedim. Gereksiz olduğunu düşündüğüm bir klasör için robots.txt dosyasında “noindex” kuralı kullandım. Sitenin ana gezinme betiklerini de engellediğimi fark etmedim. İki gün içinde sitem arama sonuçlarında boş göründü. Düzeltene kadar trafiğim sıfırda kaldı. O günden sonra robots.txt'yi basit bir metin belgesi olarak görmeyi bıraktım ve onu tüm işimin trafik kontrolcüsü olarak görmeye başladım.

1seotools.net üzerindeki Robots.txt Generator size güvenli bir başlangıç noktası sunar. Sözdizimini veya unutulmuş eğik çizgileri düşünmeniz gerekmez. Neye izin vermek veya neyi engellemek istediğinizi seçersiniz, araç kodu oluşturur. Talimatlarınız, siteyi ziyaret eden her tarayıcı için temiz ve okunaklı kalır.

Arama motoru tarayıcılarını kontrol etmeye yardımcı olan büyüteç ve anahtar simgeli Robots.txt Generator görseli
Özel bir robots.txt dosyasıyla arama motoru tarayıcılarını kontrol edin ve sitenizin hassas verilerini koruyun.

Oluşturucu Nasıl Kullanılır?

Aracı kullanmak hızlıdır. Oluşturucu sayfasını açın. Sitelerde sık görülen klasörlerin bir listesini göreceksiniz. Sitenize uyan kuralları seçin. Tüm tarayıcılara izin verebilir veya yalnızca belirli olanları kısıtlayabilirsiniz. Araç, siz tıkladıkça kuralları yazar.

1. Adım: Yolunuzu Belirleyin

Gizlemek istediğiniz klasörleri ekleyin. Net olun. Bir klasörü gizlerseniz, sitenizin iyi görünmesini sağlayan dosyaları engellemediğinizden emin olun. Dosyayı sunucunuza yüklemeden önce kurallarınızı test edin.

2. Adım: Kaydedin ve Yükleyin

Dosyayı indirin ve “robots.txt” adıyla kaydedin. Kök dizininize yükleyin. Sitenizin kurallarını belirlemek için gereken tek şey bu.

Özel Robots Dosyasının Faydaları

Özel bir dosya sunucu günlüklerinizi temiz tutar. Tarayıcıların arama sayfalarında, giriş formlarında veya geçici yönetici dosyalarında bant genişliği harcamasını engeller. Böylece Google dikkatini en iyi içeriğinize verebilir. Siteniz hızlanır ve bir tarayıcının her ziyareti işe yarar.

SSS: Robots.txt Kuralları

Robots.txt sayfaları arama sonuçlarından engeller mi?

Hayır. Yalnızca tarayıcının sayfayı ziyaret etmesini engeller. Başka bir site sayfanıza bağlantı verirse Google yine de onu listeleyebilir. Bir sayfanın arama sonuçlarında yer almamasını istiyorsanız bunun yerine “noindex” meta etiketini kullanın. Engelleme ile noindex arasındaki farkı anlamak için Google'ın resmi kılavuzunu okuyun.

Giriş sayfamı gizlemeli miyim?

Evet. Google'ın giriş formunuzu dizine eklemesi için bir neden yok. Gizlemek yönetici alanınızı daha güvenli tutar ve tarayıcı kaynaklarından tasarruf sağlar.

Bu aracı kullanmak güvenli mi?

Evet. Araç yalnızca metin oluşturur. Nereye yükleyeceğinize siz karar verirsiniz. Canlı sunucunuza kaydetmeden önce dosyayı her zaman önizleyin.

Yanlışlıkla bir şeyi engellersem ne olur?

Search Console'da hatalar görürsünüz. Böyle bir durumda kuralı kaldırın ve yeni bir dosya yükleyin. Sayfalarınıza erişilip erişilemediğini her zaman
HTTP Status Checker ile engellerinizi kontrol ederek doğrulayabilirsiniz.

Sitenizi Sağlıklı Tutun

Robots.txt dosyanız tek seferlik bir kurulum değildir. Siteniz büyüdükçe kurallarınızın değişmesi gerekebilir. Büyük yeni bir bölüm eklediğinizde veya site yapınızı değiştirdiğinizde dosyanızı kontrol edin.

Tarama kurallarınızı belirledikten sonra bir sonraki önceliğiniz, Google'ın sitenizin yapısını bilmesini sağlamaktır. Yayınladığınız yeni ve kaliteli içeriklerin hiçbirinin dizine eklenmeden kalmaması için dosyanızı site haritanıza bağlamak üzere XML Sitemap Generator (XML Site Haritası Oluşturucu) kullanın.


Avatar

Hisham Fouad

CEO / Co-Founder

We build free, practical SEO, webmaster and YouTube tools for website owners and content creators. Have a suggestion? Get in touch through the Contact page.