今日發現，有好多同學開始玩WordPress了，很高興有些志同道合的朋友加入WP的大家庭。可是，不管你的水平如何，只要你是站長，就有必要懂的Robots.txt的寫法與作用。近日，小站的?p=XX頁面老是出現在百度收錄中，雖然有增加收錄的作用，但是會對網站權重造成影響。所以我采取了一系列的措施來避免過多的重復頁面抓取。
其實，我從一開始就做了Robot的優化工作，只不過搬空間時候忘了那個Robots文件了……一失足成千古恨，博客收錄降了好多……WordPress的優化還是做得很好的，雖然有些地方需要借助自己對Html等小知識的掌握，但這並不妨礙你把WordPress站點打造成優化典范！
下面我分享一下自己博客的Robots文件，並簡單的說一下作用。
User-agent: *
Disallow: /comments/feed/
Disallow: /*/trackback
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /*?replytocom=
Disallow: /*/comment-page-*
Disallow: /?r=*
Disallow: /?p=*
Disallow: /page/
Allow: /wp-content/uploads/
Sitemap: http://***.me/sitemap.xml
Sitemap: http://***.me/sitemap_baidu.xml
上面的User-agent:*意思就是對所有的蜘蛛進行規則，Disallow想必大家英文稍微會一點的都懂。比如Disallow: /page/意思就是不要抓取/page下面的網頁，以免造成降權。
晚上見有童鞋將Disallow: /*?replytocom=和Disallow: /*/comment-page-*類似的寫成Disallow: *?replytocom=以及Disallow:*/comment-page-*特意說明一下，在百度官方的說明中，Disallow的地址必須以/這個斜槓開頭，不加這個雖然可以但是不符合標准。
筆者認為：半懂不懂我們學習不應該有，可有可無這個還是有著比較好！標准在那裡，咱們就看標准來吧！希望大家可以多多交流，共同學習！有錯誤請及時更正指出，謝謝！
在最後祝願玩WordPress的同學技術步步高，WordPress建站值得你堅持下去，希望看到越來越多的網友有自己的建站一周年紀念文章出現！
（責任編輯：sunsun）