Siteniz İçin Robots.txt Dosyası Oluşturun
Tarayıcılara izin vereceğiniz veya engelleyeceğiz kuralları seçin, robots.txt dosyasını indirin.
Robots.txt dosyanız, bir arama motorunun sitenizi ziyaret ettiğinde ilk baktığı yerdir. Google'a nereye girebileceğini ve neyi yok sayması gerektiğini söyler. Yanlış yaparsanız tüm sitenizi yanlışlıkla arama sonuçlarından gizleyebilirsiniz. Doğru yaparsanız sunucunuzu gereksiz işlerden kurtarırsınız.
Çoğu geliştirici bu dosyayı sonradan akla gelen bir iş olarak görür. Rastgele bir forumdan şablon kopyalar ve unutur. Bu bir kumardır. Robots.txt dosyasındaki hatalı bir kural CSS veya JS dosyalarınızı engelleyebilir ve siteniz Googlebot'a bozuk görünür. Kontrolü ele alın ve sitenizin yapısına gerçekten uyan bir dosya oluşturun.
Robots.txt Neden Önemli?
Kariyerimin başlarında sitemin arama sonuçlarını temizlemek istedim. Gereksiz olduğunu düşündüğüm bir klasör için robots.txt dosyasında “noindex” kuralı kullandım. Sitenin ana gezinme betiklerini de engellediğimi fark etmedim. İki gün içinde sitem arama sonuçlarında boş göründü. Düzeltene kadar trafiğim sıfırda kaldı. O günden sonra robots.txt'yi basit bir metin belgesi olarak görmeyi bıraktım ve onu tüm işimin trafik kontrolcüsü olarak görmeye başladım.
1seotools.net üzerindeki Robots.txt Generator size güvenli bir başlangıç noktası sunar. Sözdizimini veya unutulmuş eğik çizgileri düşünmeniz gerekmez. Neye izin vermek veya neyi engellemek istediğinizi seçersiniz, araç kodu oluşturur. Talimatlarınız, siteyi ziyaret eden her tarayıcı için temiz ve okunaklı kalır.
Oluşturucu Nasıl Kullanılır?
Aracı kullanmak hızlıdır. Oluşturucu sayfasını açın. Sitelerde sık görülen klasörlerin bir listesini göreceksiniz. Sitenize uyan kuralları seçin. Tüm tarayıcılara izin verebilir veya yalnızca belirli olanları kısıtlayabilirsiniz. Araç, siz tıkladıkça kuralları yazar.
1. Adım: Yolunuzu Belirleyin
Gizlemek istediğiniz klasörleri ekleyin. Net olun. Bir klasörü gizlerseniz, sitenizin iyi görünmesini sağlayan dosyaları engellemediğinizden emin olun. Dosyayı sunucunuza yüklemeden önce kurallarınızı test edin.
2. Adım: Kaydedin ve Yükleyin
Dosyayı indirin ve “robots.txt” adıyla kaydedin. Kök dizininize yükleyin. Sitenizin kurallarını belirlemek için gereken tek şey bu.
Özel Robots Dosyasının Faydaları
Özel bir dosya sunucu günlüklerinizi temiz tutar. Tarayıcıların arama sayfalarında, giriş formlarında veya geçici yönetici dosyalarında bant genişliği harcamasını engeller. Böylece Google dikkatini en iyi içeriğinize verebilir. Siteniz hızlanır ve bir tarayıcının her ziyareti işe yarar.
SSS: Robots.txt Kuralları
Robots.txt sayfaları arama sonuçlarından engeller mi?
Hayır. Yalnızca tarayıcının sayfayı ziyaret etmesini engeller. Başka bir site sayfanıza bağlantı verirse Google yine de onu listeleyebilir. Bir sayfanın arama sonuçlarında yer almamasını istiyorsanız bunun yerine “noindex” meta etiketini kullanın. Engelleme ile noindex arasındaki farkı anlamak için Google'ın resmi kılavuzunu okuyun.
Giriş sayfamı gizlemeli miyim?
Evet. Google'ın giriş formunuzu dizine eklemesi için bir neden yok. Gizlemek yönetici alanınızı daha güvenli tutar ve tarayıcı kaynaklarından tasarruf sağlar.
Bu aracı kullanmak güvenli mi?
Evet. Araç yalnızca metin oluşturur. Nereye yükleyeceğinize siz karar verirsiniz. Canlı sunucunuza kaydetmeden önce dosyayı her zaman önizleyin.
Yanlışlıkla bir şeyi engellersem ne olur?
Search Console'da hatalar görürsünüz. Böyle bir durumda kuralı kaldırın ve yeni bir dosya yükleyin. Sayfalarınıza erişilip erişilemediğini her zaman
HTTP Status Checker ile engellerinizi kontrol ederek doğrulayabilirsiniz.
Sitenizi Sağlıklı Tutun
Robots.txt dosyanız tek seferlik bir kurulum değildir. Siteniz büyüdükçe kurallarınızın değişmesi gerekebilir. Büyük yeni bir bölüm eklediğinizde veya site yapınızı değiştirdiğinizde dosyanızı kontrol edin.
Tarama kurallarınızı belirledikten sonra bir sonraki önceliğiniz, Google'ın sitenizin yapısını bilmesini sağlamaktır. Yayınladığınız yeni ve kaliteli içeriklerin hiçbirinin dizine eklenmeden kalmaması için dosyanızı site haritanıza bağlamak üzere XML Sitemap Generator (XML Site Haritası Oluşturucu) kullanın.