Crawler

Поисковый робот(паук, краулер) часто называемый просто "бот" или "робот" это программа, систематически обходящая Web для сбора данных со страниц веб-сайтов. Обычно поисковые сервисы (напр. Google, Bing, и пр.) используют поисковых роботов для индексирования сайтов.