Robots.txt dosyasını kullanarak sayfaları engelleme veya kaldırma Googlebot'un sitenizdeki sayfaları taramasını önlemek için bir robots.txt dosyası kullanabilirsiniz.
Örneğin, robots.txt dosyasını el ile oluşturuyorsanız, Googlebot'un belirli bir dizindeki (örneğin lemurlar) tüm sayfaları taramasını önlemek için aşağıdaki robots.txt girişini kullanırsınız:
User-agent: Googlebot
Disallow: /lemurlarGooglebot'un belirli bir dosya türündeki (örneğin .gif) tüm dosyaları taramasını engellemek için aşağıdaki robots.txt girişini kullanabilirsiniz:
User-agent: Googlebot
Disallow: /*.gif$Googlebot'un ? içeren URL'leri taramasını engellemek için (daha açık belirtmek gerekirse, etki alanı adınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL'leri) taramasını engellemek için):
User-agent: Googlebot
Disallow: /*?robots.txt tarafından engellenen içerik sayfalarını taramamamıza veya dizinlerini oluşturmamamıza karşın, bunları web üzerindeki diğer sayfalarda bulduğumuz takdirde URL'leri tarayıp dizinlerini oluşturabiliriz. Sonuç olarak, sayfanın URL'si ve büyük olasılıkla herkesin kullanımına açık olan site bağlantılarındaki metin veya Açık Dizin Projesi'nden bir başlık gibi (
www.dmoz.org) diğer bilgiler Google arama sonuçlarında görünebilir. Ancak, sayfalarınızın hiçbir içeriği taranmaz, dizine eklenmez veya görüntülenmez.
Bir sayfanın, başka sitelerde bu sayfa için bağlantı olsa bile Google dizinine eklenmesini bütünüyle önlemek için bir noindex meta etiketi kullanın ve sayfanın robots.txt dosyasında görünmemesini sağlayın. Googlebot sayfayı taradığında, noindex meta etiketini tanır ve URL'yi dizinden çıkarır.
