Robots META標簽則主要是針對一個個具體的頁面。和其他的META標簽（如使用的語言、頁面的描述、關鍵詞等）一樣，Robots META標簽也是放
在頁面的＜head＞＜/head＞中，專門用來告訴搜索引擎ROBOTS
如何抓取該頁的內容。
Robots META標簽的寫法：
Robots META標簽中沒有大小寫之分，name=”Robots”表示所有的搜索引擎，可以針對某個具體搜索引擎寫為name=”BaiduSpider”。
content部分有四個指令選項：index、noindex、follow、nofollow，
指令間以“,”分隔。
INDEX 指令告訴搜索機器人抓取該頁面；
FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去；
Robots Meta標簽的缺省值是INDEX和FOLLOW，只有inktomi除外，對於它，缺省值是INDEX,NOFOLLOW。
這樣，一共有四種組合：
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞
其中＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以寫成＜META NAME=”ROBOTS” CONTENT=”ALL”＞；
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞可以寫成＜META NAME=”ROBOTS” CONTENT=”NONE”＞
目前看來，絕大多數的搜索引擎機器人都遵守robots.txt的規則，而對於Robots META標簽，目前支持的並不多，但是正在逐漸增加，如著名搜索引擎
GOOGLE就完全支持，而且GOOGLE還增加了一個指令“archive”，可以限制GOOGLE是否保留網頁快照。例如：＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞