蜘蛛：又名搜索引擎爬蟲 是一種專門爬取各大網站內容的、如果網站沒有蜘蛛的爬行、那麼就沒有網站的收錄可言。
那麼我們又如何知道蜘蛛爬行過我們的站了,在這裡我們可以看網站IIS日志,在IIS日志中,我們可以分析各大搜索引擎蜘蛛的爬取記錄。
引擎搜索名稱:
1. Google爬蟲名稱
1) Googlebot：網站索引和新聞索引中抓取網頁
2) Googlebot-Mobile：移動索引抓取網頁
3) Googlebot-Image：圖片索引抓取網頁
4) Mediapartners-Google：抓取AdSense，在AdSense 廣告情況下，Google才會使用此漫游器來抓取您的網站。
5) Adsbot-Google：抓取AdWords 目標網頁的質量,在Google AdWords 為你的網站做廣告的情況下,Google才會使用此漫游器。
2. 百度(Baidu)爬蟲：Baiduspider
1) Baiduspider：無線搜索
2) Baiduspider-image：圖片搜索
3) Baiduspider-video ：視頻搜索
4) Baiduspider-news ：新聞搜索
5) Baiduspider-favo ：百度搜藏
6) Baiduspider-cpro ：百度聯盟
7) Baiduspider-ads ：商務搜索
8) Baiduspider ：網頁以及其他搜索
3. 雅虎(Yahoo)爬蟲：Yahoo Slurp
4. 有道(Yodao)蜘蛛：YodaoBot
5. 搜狗(sogou)蜘蛛：sogou spider
6. MSN蜘蛛名稱：Msnbot