Crawler

Crawler je robotický program, ktorý vyhľadávače používajú na prehľadávanie a indexovanie webového obsahu. Indexovanie rozhoduje o tom, ako sú stránky hodnotené vo výsledkoch vyhľadávania.