seo

Sitelerin ana dizininde bulunan/bulunması gereken robots.txt dosyası adından anlaşılabileceği üzere botlar için hazırlanır ve uzantısından anlaşılacağı üzere metin dosyası formatındadır. Bu dosya içerisinde arama motoru örümcekleri gibi vs. tüm botların kullanması için komutlar ve referans tanımları yer alır.