很多做seo的， 經常會問為什麼我的頁面沒有被收錄，為什麼我的快照還是上個星期的，怎麼百度還不更新我的站點。這些都是剛入門問的問題。做seo的人都知道，知道搜索引擎的規律很重要。你要知道蜘蛛是否來過你的站點，什麼時候來 過，是哪家蜘蛛。這些都有利於你針對性的做優化。
很多服務器支持蜘蛛爬行日志，但是大部分站長都是虛擬機，有的空間並不支持記錄蜘蛛爬行。這時候就需要我們編寫代碼來記錄蜘蛛的活動規律。
在網上找了很多的代碼都不能正確使用，或者功能不完善。
只要自己研究起來。總結出一下一套代碼，百分百保證使用。
<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, ‘googlebot’) !== false){
return ‘Googlebot’;
}
if (strpos($useragent, ‘msnbot’) !== false){
return ‘MSNbot’;
}
if (strpos($useragent, ’slurp’) !== false){
return ‘Yahoobot’;
}
if (strpos($useragent, ‘baiduspider’) !== false){
return ‘Baiduspider’;
}
if (strpos($useragent, ’sohu-search’) !== false){
return ‘Sohubot’;
}
if (strpos($useragent, ‘lycos’) !== false){
return ‘Lycos’;
}
if (strpos($useragent, ‘robozilla’) !== false){
return ‘Robozilla’;
}
return false;
}
function nowtime(){
$date=date(“Y-m-d.G:i:s”);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file=”robotslogs.txt”;
$time=nowtime();
$data=fopen($file,”a”);
$PR=”$_SERVER[REQUEST_URI]“;
fwrite($data,”Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n”);
fclose($data);
}
?>
以上代碼比網上流傳的版本多了個記錄搜索引擎請求頁面記錄，可以看到蜘蛛每次來爬取的是那個頁面。更加利於分析蜘蛛對網站的權重以及對不同欄目和頁 面的青睐。
Seo最終的是從實際出發，用數據說話，而不是憑空想象。一切優化的基礎都是數據，一切優化的目的也是為了得到數據。
本文出自ceo 風向標 轉載請注明出自http://www.ceologo.com/seo/371.html
感謝 靈魂de信仰 的投稿