DIV CSS 佈局教程網

 DIV+CSS佈局教程網 >> 網頁SEO優化 >> SEO進階教程 >> 如何恰當的使用和區分ROBOTS和NOFOLLOW?
如何恰當的使用和區分ROBOTS和NOFOLLOW?
編輯:SEO進階教程     

3014165_ECEA210AFF5E6DC8C842ADD1B563D770.jpg

以前覺得,網頁上面不需要的URL,我用robots屏蔽就行了。可是事實上並不是這樣。在GWT的Crawl Errors中,會出現Restricted by robots.txt這樣的錯誤。很奇怪,我用robots屏蔽了,為何還算做crawl errors呢?
  我拿我自己的網站為例,我們的內頁是www.mydomain.com/A/1.html在這個頁面上有很多鏈接,其中有
  www.mydomain.com/A/1/similar1.html
  www.mydomain.com/A/1/similar2.html
  這兩個鏈接是我不想讓搜索引擎爬行的。
  原先只有similar1.html在網頁上出現,我用robots屏蔽後,GWT裡面出現了很多REstricted by robots.txt這樣的錯誤,錯誤的鏈接都是/A/*/similar1.html然後再之後一次網站改版時,我將這個鏈接nofollow掉了,但是為了實現某些功能,前台程序員們又加上了www.mydomain.com/A/1/similar2.html這樣的鏈接,我在第一時間內將其robot.txt。然後這時候我回頭看GWT裡面的crawl errors。所有的Restricted by robots.txt的條目都變成了similar2.html,而原先的similar1.html消失了。
  我記得國平老師似乎曾經說過,就算你用robots.txt禁止了某類URL,蜘蛛依舊會去探測這個URL。同時Google官方也確認,網站的每日爬行數量和PR有一定關系,那在我PR一定的情況下,我每天被爬行的URL數量是一個差不多定值。然後這類被robots.txt禁止的URL被蜘蛛探測,依舊會占用其他正常URL的探測機會。只有當使用了nofollow後,才能讓蜘蛛徹底的不理睬這個URL,放在我上面的例子中來說,當蜘蛛來到/A/1.html頁面後,它檢查這個頁面的鏈接信息,發現了similar1.html和similar2.html這兩個URL,如果沒有nofollow,那它會探測這兩個URL, 當發現這兩個URL被robots禁止後,會返回google官方服務器一個數據,這兩個URL不能爬行。但是如果加上了nofollow,那蜘蛛可能連探測都不會去探測它是否遵循robots.txt,而是直接去請求下面的鏈接了。
  因此nofollow的運用,是提高蜘蛛效率的最佳工具,而robots.txt和meta標記,只是為了減少網頁重復和垃圾信息的量。可以說是完全兩個用途。當然,配合起來使用,可以讓網站被搜索引擎爬行得更多,更好。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved