一、看網站的抓取情況
1、新站剛上線，看看搜索引擎有沒有來你網站抓取了;
2、網站收錄異常，或者被k，通過日志可以了解搜索引擎是否還有來光顧你的網站;
3、對於網站的問題進行解決，必須要讀懂日志;
二、怎麼查找網站日志?
一般在FTP一個名為logs的文件夾，不同的服務器可能日志文件命名不一樣，不過一定會包含logs這個關鍵詞，如下圖：
三、怎麼打開日志?
下載，解壓後，可以用文本編輯器打開，如果打開是亂碼的話，可以用Editplus或dreamweaver等網頁編輯器打開。
四、各大搜索引擎蜘蛛名稱：
打開日志後我們可以看到如下的這些搜索引擎蜘蛛名稱，分別代表的就是哪個搜索引擎到過你的網站。
百度：baiduspider
Google=Googlebot
Msn：msnbot
yahoo：Slurp
yodao：YoudaoBot
sogou：Sogou+get+spider
360：360Spider
五：日志拆解
在日志裡面搜索下以上蜘蛛的名稱就能清楚了解蜘蛛有沒有來過你的網站，並且知道蜘蛛抓取你的網站頁面情況。
123.125.71.33 - - [19/Apr/2013:00:47:39 +0800] "GET /page/contact/contact.php HTTP/1.1" 200 21978 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
具體分析如下：
123.125.71.33 訪問IP
[19/Apr/2013:00:47:39 +0800] 訪問時間與時區
GET /page/contact/contact.php HTTP/1.1 根據HTTP/1.1 協議 抓取(域名下)/page/contact/contact.php 這個頁面(GET表示服務器動作)
200 服務器響應狀態碼。
21978 表示抓取了21978個字節。
Mozilla/5.0 表示訪問者使用火狐浏覽器訪問端信息
六、網站日志對seo有關於的信息
不同的服務器或虛擬主機設置的日志記錄內容不同。
有的如：200 0 33834 237 953 我們通過多看幾條記錄，觀察規律，可以判斷第三個數字代表字節數。
有的如：200 0 0或200 0 64 這是沒有記錄抓取字節數。注意：200 0 0和200 0 64 沒代表什麼問題。所謂200 0 64代表要被K的言論沒有根據，一般的網站都有64代碼。
在日志裡，發現比較多的HTTP狀態碼是，200(正常)、304(沒變化)、404(錯誤鏈接)。
304代表，自從上次抓取後，該內容沒有更新。一般情況下，網站的圖片經常會返回該值。
404代表，訪問的這個鏈接是錯誤鏈接。這個錯誤鏈接，一方面來自原本存在後來刪除了網頁，另一方面可能來自本來就不存在，但其他人外鏈了這麼個死鏈接。
本文由：不銹鋼蝶閥http://www.z-cd.com提供，轉載請注明出處，謝謝。