一個好的網站，不但要擁有好的排名，還要擁有足夠的收錄數量，不少站長朋友總是抱怨搜索引擎對自己網站的收錄率不夠，有些站長朋友的網站收錄率甚至不到百分之四十，他們會迷惑，我的文章是原創的啊，為什麼百度不進行收錄呢？筆者通過分析網站日志，結果發現蜘蛛根本沒有爬到那些頁面，那麼又如何會被收錄呢？站長朋友們可能會問到為什麼蜘蛛不爬行呢？筆者認為這主要和網站的結構設置有關，筆者在這裡，通過分析搜索引擎的頁面收錄原理來解析網站結構的優化。
站長朋友們都了解，搜索引擎蜘蛛程序通過域名進入網站，從而開展對頁面的抓取，蜘蛛從指定的頁面出發，沿著頁面中的鏈接，按照某種特定的策略對網站中的頁面進行遍歷，收錄未訪問的網頁，然後搜索引擎再對網頁內容進行判斷，決定是否收錄入數據庫。
目前，常見的搜索引擎收錄方式主要廣度優先，深度優化和用戶提交這幾種方式，這幾種方式的結合，從而讓搜索引擎蜘蛛最大化的能夠遍歷網站的所有頁面，從而加以收錄，但是如果網站的結構設置的不好，那麼很容易導致蜘蛛無法爬行到某些頁面，自然也無法收錄。事實上，網站結構在決定頁面權重方面起著非常關鍵的作用，直接影響搜索引擎對頁面的收錄，一個設計合理的網站結構可以引導搜索引擎從中抓取到更多、更有價值的頁面。
那麼，我們如何根據頁面的收錄原理來進行網站的優化工作呢？事實上，蜘蛛是通過連接不斷爬行，無論是采用深度優先還是廣度優先，由於蜘蛛的能力有限，只能爬到一定的地方，這就要求我們盡量減少頁面的目錄深度及與重要頁面之間的鏈接深度，從而有利於蜘蛛的爬行，具體分析如下：
第一：減少頁面之間的鏈接深度
減少頁面之間的鏈接深度包括減少普通頁面與重要頁面之間、重要頁面與重要頁面之間的鏈接深度，可以從以下幾點入手：
1.為網站中相對重要的頁面增加更多的鏈接入口。在相對重要的頁面中存放更多鏈接指向其他的頁面，這樣不但可以減少頁面之間的鏈接深度，還可以引導搜索引擎抓取網站中更多相對重要的頁面。舉個簡單的例子，我們網站的首頁可以在合理的范圍內加上更多指向其他相對重要的頁面的鏈接。這樣有利於蜘蛛的爬行收錄。
2.如果我們要突出某個重要的頁面，可以在更多的頁面中加上鏈接指向這個頁面，就可以最大化的保證這個重要頁面的收錄和提高這個頁面的權重。
3.用心制作好網站地圖。網站地圖起到了減少頁面之間的鏈接深度，有利於蜘蛛查找到更多的頁面。
第二：減少頁面的目錄深度
減少頁面的目錄深度，實際上就是減少頁面URL的目錄層次，新手朋友可以從一下幾個方面入手：
1.對於全靜態頁面的網站，在規劃網站時要精簡目錄結構，比如http://www.xxx.com/ck/HTML/1.shtml，我們在規劃目錄時，可以精簡為 http://www.xxx.com/ck/1.shtml等。
2.對於動態頁面的網站，則可以通過 URL 重寫的方式減少頁面的 URL 的目錄層次。在實際操作中，我們會通過URL重寫的方式使得網站中的每個頁面的URL深度都為1，即URL 形式為 http://域名/文件名稱。
第三：一個頁面的鏈接數量不要超過100
這是很多站長朋友所忽略的，事實上，如果一個頁面中的鏈接數量超過100，搜索引擎就可能拒絕索引該頁面，或者忽略 100 以後的那部分鏈接指向的目標頁面。這是一個很關鍵的內容，很多站長朋友並沒有意識到這點，所以很多時候超過100的那部分鏈接已經沒有意義，不被搜搜引擎蜘蛛所爬行，那麼這部分的鏈接所指向的頁面就不會被收錄，所以如果要想這部分鏈接所指向的頁面被收錄，我們要另外做鏈接導入。
小肖認為，最良好的網站結構是平鋪結構，可惜這種結構不適用於大部分站，但是針對大部分站，我們還是可以好好的進行設計，遵循上面的三點原則，就可以導致蜘蛛爬行到所有的頁面，從而有利於網站的收錄。純屬個人的一些觀點，希望能和大家一起學習，最後，文章版權歸屬：廣州女子醫院 ：http://www.81891111.com/，歡迎大家轉載，但是請大家轉載的時候保留鏈接，謝謝大家的理解和合作！
感謝 siyi7321 的投稿