Crawler

網路爬蟲（web crawler）是個程式，也被稱作機器人（bot、robot），會系統化瀏覽網路以蒐集網頁資料。通常，搜尋引擎會用爬蟲建立網頁索引。