slovník pojmov

Robots.txt

Robots.txt

Ide o textový súbor umiestnený na serveri, ktorý určuje vyhľadávacím robotom (crawlerom), ktoré časti webu majú alebo nemajú prehľadávať.