日志不單看狀態碼還要關注體驗
編輯
分享
評論
贊0
什么是百度蜘蛛抓取體驗呢?良好的代碼結構，良好的URL結構。相信很多站長都有采集經驗，很多CMS都帶有采集功能。
百度蜘蛛抓取體驗和你寫采集規則是一樣的，一個網站有良好的代碼結構，良好的URL結構，你可以輕易寫出采集規則，順利完成這個網站內容采集工作。
URL，一個網站的URL如果很復雜，經過幾次302或301跳轉后才能到達目的頁面。這樣的URL，如果你要用CMS寫采集規則，是不是增加了采集規則的難度。有些URL甚至通過JS跳轉，才能到達內容頁面，這些URL鏈接，請問該如何寫采集規則。
代碼結構，一個網站的列表頁面和內容頁面，代碼非常復雜。有可能是word編輯的內容，直接復制到網站后臺編輯器，直接發布。一個列表頁面，可能是
JS，iframe嵌入頁面，這樣的代碼結構，該如何寫采集規則?你可能就直接放棄采集這個網站。百度蜘蛛也一樣，可能計劃來1萬次抓取的，由于分析效率
太低，它可能只能來3000次。
如果SEOER有編程經驗，通過對代碼復雜的分析，針對網站寫出采集規則是沒問題的。那么，百度蜘蛛呢?百度蜘蛛該如何來抓取這些內容，百度蜘蛛可不會針對某個網站寫采集規則。
前幾天Loghao一個蜘蛛分析案例，他網站的百度蜘蛛狀態碼40%都是302?筆者仔細看了他網站的鏈接結構，都是/xxxx結尾的，訪問后鏈接后
面自動加了/，變為/xxxx/。百度蜘蛛訪問/xxxx后通過302跳轉，到了/xxxx/。請問，這樣的跳轉訪問，百度蜘蛛抓取體驗是怎么樣的?答案
很明確，造成了蜘蛛多訪問一次，如果這個網站有100萬頁面，蜘蛛就會多訪問100萬次，才能抓取到目標內容。
所以，一個良好的URL規則和代碼規則，可以很大程度提高百度抓取體驗，提高收錄幾率。
猜你喜歡