Robots.txt Dosyası Yapımı
Robots.txt Dosyası Yapımı (Aramamotorları için En Üsttlere Cıkın)Robots.txt Dosyası ile arama motorlarının hangi sayfaları veri tabanlarına kaydetmeyeceği bildirilir. Örneğin sitenize bir sayfa gönderdiniz ama bu sayfanın arama sonuçlarında çıkmasını, arama motorlarında görünmesini istemiyorsanız, bunu robots.txt dosyasını düzenleyerek yapabilirsiniz. Böylece arama motoru örümcekleri sitenize geldiği zaman önce robots.txt dosyasına bakar. Bu dosyaya bakarak hangi sayfaları dolaşacağını, hangi sayfaları dolaşmayacağını öğrenir. Robots.txt dosyası sitenizin kök klasörüne yani index.html sayfasının yanına gönderilmelidir. Eğer sitenizdeki sayfaların tamamının arama motoru veritabanına kaydedilmesini istiyorsanız notepad ile boş bir text dosyası açın ve şunları yazın. Kod:
User-agent: *
Disallow:
Burada User-agent arama motoru örümceğini belirtir. Mesajın hangi arama motoru örümceği için geçerli olduğunu belirtir. Yanındaki * işareti ise tamamı anlamına gelir. Yani User-agent: * komutu, robots.txt dosyasındaki yazılı komutların bütün arama motoru örümcekleri için geçerli olduğunu belirtir. Daha iyi anlamak için Google'nin örümceği olan Googlebot ile MSN arama motoru örümceği olan Msnbot için ayrı ayrı komutlar girelim.Kod:
User-agent: Googlebot
Disallow:
User-agent: Msnbot
Disallow: /gizli.html
Yukarıda görüldüğü gibi iki farklı örümceğe farklı görevler verdik. Googlebot'dan sonra gelen disallow bölümü boş oluğu için sitemizin tüm sayfaları google veritabanına kaydedilir. Ancak Msnbot'dan sonra gelen disallow komutuna /gizli.html yazdık. Yani Msnbot sitemize uğradığı zaman gizli.html sayfasına girmeyecek ve bu sayfayı veritabanına eklemeyecek.
Şimdi disallow komutuna daha detaylı bakalım ve bir kaç örnekle bilgilerimizi pekiştirelim. Eğer sayfaların kaydedilmesini engellemek istiyorsak Disallow komutu yanına "/" işareti koyarak sayfanın adını yazmamız gerekir. Eğer bir klasörün içindeki bütün sayfaları engellemek istiyorsak Disallow: /engellenenklasor/ şeklinde komut eklememiz gerekir. Eğer sitenin tamamen kaydedilmesini engellemek istiyorsak disallow komutu yerine sadece "/"koymamız gerekir. Şimdi örneklerle tekrar edelim.
Bir sayfanın kaydedilmemesini istiyorsak,Kod:
User-agent: *
Disallow: /gizli.html
Birden fazla sayfanın kaydedilmemesini istiyorsak ek disallow komutu ekleriz,Kod:
User-agent: *
Disallow: /gizli.html
Disallow: /sakli.html
Sitenin tamamının kaydedilmemesini istiyorsak,Kod:
User-agent: *
Disallow: /
