頁面長度過長，也可能導致不收錄
作者：為你代言
瀏覽：59次
發布時間：2017-07-01
分享
評論
贊0
最近收到一個非常典型的抓取優化例子,整理一下分享給各位,各位站長們謹記不要出現相同的情況:
站點反饋:
網站主體內容都是js生成,針對用戶訪問,沒有做優化;但是網站特針對爬蟲抓取做了優化,直接將圖片二進制內容放到了html中導致頁面長度過長;然而優化后發現內容卻不被百度收錄
頁面質量很好,還特意針對爬蟲做了優化,為什么內容反而不收錄了呢?
分析:
1、網站針對爬蟲爬取做的優化,直接將圖片二進制內容放到了html中導致頁面長度過長,網站頁面長度達164k;
2、 站點優化后將主體內容放于最后,圖片卻放于前面;
3、爬蟲抓取內容后,頁面內容過長被截斷,已抓取部分無法識別到主體內容,最終導致頁面被認定為空短而不收錄.
建議:
1、不建議站點使用js生成主體內容,如js渲染出錯,很可能導致頁面內容讀取錯誤,頁面無法抓取
2、 如站點針對爬蟲爬取做優化,建議頁面長度在128k之內,不要過長
3、針對爬蟲爬取做優化,請將主體內容放于前方,避免抓取截斷造成的內容抓取不全
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論