DIV CSS 佈局教程網

最近院長收到一個非常典型的抓取優化例子，整理一下分享給各位，各位站長們謹記不要出現相同的情況：

站點反饋：

網站主體內容都是js生成，針對用戶訪問，沒有做優化；但是網站特針對爬蟲抓取做了優化，且將圖片也直接做了base64轉化；然而優化後發現內容卻不被百度收錄。

頁面質量很好，還特意針對爬蟲做了優化，為什麼內容反而不收錄了呢？

工程師分析：

1、網站針對爬蟲爬取做的優化，直接將圖片二進制內容放到了html中導致頁面長度過長，網站頁面長度達164k；

2、 站點優化後將主體內容放於最後，圖片卻放於前面；

3、爬蟲抓取內容後，頁面內容過長被截斷，已抓取部分無法識別到主體內容，最終導致頁面被認定為空短而不收錄。

工程師建議：

1、不建議站點使用js生成主體內容，如js渲染出錯，很可能導致頁面內容讀取錯誤，頁面無法抓取

2、 如站點針對爬蟲爬取做優化，建議頁面長度在128k之內，不要過長

3、針對爬蟲爬取做優化，請將主題內容放於前方，避免抓取截斷造成的內容抓取不全

（本文轉載自百度站長學院，原文地址：http://zhanzhang.baidu.com/college/articleinfo?id=1034）