robots.txt概述
robots.txt是放置在網站根目錄中的.TXT文件，是搜索引擎蜘蛛程序默認訪問網站第一要訪問的文件，robots.txt將告訴搜索引擎蜘蛛程序網站哪些頁面時可以訪問，哪些不可以。
robots.txt語法規則
robots.txt文件名必須全部小寫
語法：最簡單的robots.txt文件使用兩條規則：
User-Agent:適用下列規則的漫游器
Disallow:要攔截的網頁
robots.txt使用技巧
1.每當用戶試圖訪問某個不存在的URL時，服務器都會在日志中記錄404錯誤(無法找到文件)。每當搜索蜘蛛來尋找並不存在的robots.txt文件時，服務器也將在日志中記錄一條404錯誤，所以你應該在網站中添加一個robots.txt。
2.網站管理員必須使蜘蛛程序遠離某些服務器上的目錄——保證服務器性能。比如：大多數網站服務器都有程序儲存在“cgi-bin”目錄下，因此在robots.txt文件中加入“Disallow:/cgi-bin”是個好主意，這樣能夠避免將所有程序文件被搜索引擎蜘蛛索引，可以節省服務器資源。一般網站中不需要蜘蛛抓取的文件有：後台管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。
3.如果你的網站是動態網頁，並且你為這些動態網頁創建了靜態副本，以供搜索蜘蛛更容易抓取。那麼你需要在robots.txt文件裡設置避免動態網頁被蜘蛛索引，以保證這些網頁不會被視為含重復內容。
4.robots.txt文件裡還可以直接包括在sitemap文件的鏈接。就像這樣：
Sitemap:http://www.***.com/sitemap.xml
目前對此表示支持的搜索引擎公司有Google,Yahoo,AskandMSN。而中文搜索引擎公司，顯然不在這個圈子內。這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網頁。
5.合理使用robots.txt文件還能避免訪問時出錯。比如，不能讓搜索者直接進入購物車頁面。因為沒有理由使購物車被收錄，所以你可以在robots.txt文件裡設置來阻止搜索者直接進入購物車頁面。
robots.txt文件用法舉例
例1.禁止所有搜索引擎訪問網站的任何部分
User-agent:*
Disallow:/
例2.允許所有的robot訪問
(或者也可以建一個空文件"/robots.txt")User-agent:*
Disallow:
或者
User-agent:*
Allow:/
例3.僅禁止Baiduspider訪問您的網站User-agent:Baiduspider
Disallow:/
例4.僅允許Baiduspider訪問您的網站User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/
例5.禁止spider訪問特定目錄
在這個例子中，該網站有三個目錄對搜索引擎的訪問做了限制，即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須分開聲明，而不
能寫成"Disallow:/cgi-bin//tmp/"。User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
例6.允許訪問特定目錄中的部分urlUser-agent:*
Allow:/cgi-bin/see
Allow:/tmp/hi
Allow:/~joe/look
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
例7.使用"*"限制訪問url
禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。User-agent:*
Disallow:/cgi-bin/*.htm
例8.使用"$"限制訪問url
僅允許訪問以".htm"為後綴的URL。User-agent:*
Allow:.htm$
Disallow:/
例9.禁止訪問網站中所有的動態頁面User-agent:*
Disallow:/*?*
例10.禁止Baiduspider抓取網站上所有圖片
僅允許抓取網頁，禁止抓取任何圖片。User-agent:Baiduspider
Disallow:.jpg$
Disallow:.jpeg$
Disallow:.gif$
Disallow:.png$
Disallow:.bmp$
例11.僅允許Baiduspider抓取網頁和.gif格式圖片
允許抓取網頁和gif格式圖片，不允許抓取其他格式圖片User-agent:Baiduspider
Allow:.gif$
Disallow:.jpg$
Disallow:.jpeg$
Disallow:.png$
Disallow:.bmp$
例12.僅禁止Baiduspider抓取.jpg格式圖片User-agent:Baiduspider
Disallow:.jpg$
robots.txt常用的搜索引擎類型
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler