新站上線之前，還沒有添加完內容，或者是設置好，很多人的做法是，屏蔽蜘蛛，
完全禁止搜索引擎來訪的Robots.txt文件寫法:
User-agent: *
Disallow: /
網站中某個文件夾不希望讓搜索引擎收錄的Robots.txt文件寫法:
User-agent: *
Disallow: /admin/
Disallow: /images/
很多習慣網站上線以後，屏蔽蜘蛛，然後頻繁修改網站。robots屏蔽修改網站，千萬不要這樣搞，為什麼呢?
理論上行得通，實際操作上不要這樣搞。
如果蜘蛛來了，你屏蔽它， 蜘蛛會隔很長時間，才過來。
如果你發現蜘蛛不來了，趕緊發外鏈，改robot都不行。
有人說，剛開始的時候有一個百度站內有一個閉站保護功能，
這樣搞怎麼樣?
我們給的建議是：不綁定域名，用臨時的地址訪問。