蜘蛛是搜索引擎爬取網絡之中各種網絡資源的爬蟲，搜索引擎希望能夠在最短的時間內爬取更多的頁面，在保證一定用戶體驗的前提下，爬取收錄更多的有價值的頁面。各大搜索引擎都會派出網頁蜘蛛，一些高權重和更新量穩定的網站通常每天都有幾次蜘蛛爬取，然后經過這些網站之中的鏈接再次作為出發站點訪問頁面上的其他站點。頁面被收錄之后將頁面的簡要描述和標題存入搜索引擎的數據庫，在用戶搜索時根據排名顯示索引信心。為了優化蜘蛛的爬取頁面體驗，seo站長需要從以下4個方面去出發。

　　1.高質量規律更新

　　蜘蛛最希望收錄的是哪些有價值的內容，通常來說就是高質量的原創或偽原創文章，不必尋求一些標新立異的內容，適度的與其他的已經存在的內容相符合也是有一個好處，可以證明該類文章有著用戶搜索。

　　蜘蛛爬取一些網站是每天固定某些時間段的，所以最好是有規律性的更新網站的內容。高權重的網站很多時候能夠達到秒收，主要就是因為每天有著規律性的更新，在每天的某一個時間段更新網站，更新久了之后秒收就變得容易很多，并且蜘蛛對你的網站信任度也將大大提高。

　　2.縮減網站代碼復雜度

　　縮減網站頁面代碼復雜度是一個很好的優化蜘蛛體驗的方法。蜘蛛很多時候是通過網站的代碼來了解該頁面對于用戶是否友好，我們seo工作者盡量就是將網站的代碼進行精簡，將必須的代碼標簽進行詳細優化設置，將一些不那么必要的代碼進行縮減。對于一個頁面來說最終要的5個標簽就是title、heading、strong、alt和metadescription標簽，將這些代碼規范化，使用div+css的結構對網站頁面進行布局，詳細的資料可以參考《SEO如何優化網頁源代碼、提升用戶體驗》。

　　3.調整網站結構

　　網站結構則是希望讓蜘蛛能夠在最快的時間怕去到想要爬取的新的內容，可以采取提高頁面的目錄層次來達到效果，也就是縮減蜘蛛從首頁到達該頁面的最短路徑。除了高頁面url的目錄層次，還有一種最為常用的方法，就是在網站的首頁開出一塊區域來呈現我們最近更新的資源。除了以上兩種還需要做的就是網站的內鏈，內鏈做好了之后不僅僅提高蜘蛛對于單一頁面的體驗度，還能提升蜘蛛對于網站停留時間。

　　4.盡量符合用戶體驗

　　蜘蛛判斷一個頁面是否收錄很大程度上是判斷該頁面是否是符合用戶體驗的，除了網站的代碼符合簡潔少彈窗，還有內容上也需要符合用戶體驗。不同類型的網站有著不同的提升用戶體驗度的方式，盡量少頁面跳轉同樣可以提升用戶的體驗度，除了301重定向頁面，其他的所有跳轉方式都是降低頁面用戶體驗得。有的頁面則是需要在頁面打開速度進行優化，有的則是需要圖片、文字等。