這是來自Google Webmaster Central博客上的一篇文章，現在官方已正式證實，網絡爬蟲Googlebot已擴大到覆蓋JavaScript中的部分內容。如果不將一些基本規則納入考慮的話，這一改變將對搜索結果產生一些負面影響。
並且Google推薦的做法是在robots.txt中開放對JavaScript和CSS文件的訪問，這與移動站點的關系尤為密切，因為JavaScript和CSS文件將允許Google算法了解該頁面是針對移動端優化的。
幾乎所有的站都在用JavaScript技術，之前百度也給出了如下建議：
1. 不要使用過於復雜的JavaScript技術，這不利於搜索引擎的收錄
2. 不要阻止對.js文件的收錄，否則會限制JavaScript解析的能力
3. 合理的劃分站點的靜態部分和動態部分