我們先來理解一個(gè)SE蜘蛛的爬行策略，常見的有二種：深度優(yōu)先和廣度優(yōu)先

1、 深度優(yōu)先
深度優(yōu)先指當(dāng)蜘蛛發(fā)現(xiàn)一個(gè)鏈接時(shí)，它就會(huì)順著這個(gè)鏈接指出的路一直向前爬行，直到前面再也沒其他鏈接，這時(shí)就會(huì)返回第一個(gè)頁面，然后會(huì)繼續(xù)鏈接再一直往前爬行。

2、 廣度優(yōu)先
從seo角度講鏈接廣度優(yōu)先的意思是講的蜘蛛在一個(gè)頁面發(fā)現(xiàn)多個(gè)鏈接的時(shí)候，不是跟著一個(gè)鏈接一直向前，而是把頁面上所有第一層鏈接都爬一遍，然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。

從理論上說，無論是深度優(yōu)先還是廣度優(yōu)先，只要給蜘蛛足夠的時(shí)間，都能爬完整個(gè)互聯(lián)網(wǎng)。在實(shí)際工作中，沒有什么東西是無限的，蜘蛛的帶寬資源和蜘蛛的時(shí)間也是一樣都是有限的，也不可能爬完所有頁面。實(shí)際上最大的搜索引擎也只是爬行和收錄了互聯(lián)網(wǎng)的一小部分。

我個(gè)人理解百度對(duì)新網(wǎng)站分配的蜘蛛第一階段都是一樣，如何利用好這一階段的蜘蛛就是我們要解決的關(guān)鍵點(diǎn)，方法如下：

1、減少頁與頁之間的鏈接深度

減少的主要目標(biāo)有：

• 首頁到頻道頁的深度

• 頻道頁到首頁到內(nèi)容頁的深度

• 普通頁到上級(jí)頁到首頁的深度

• 內(nèi)容相關(guān)度的深度
  

• 專題頁的深度
  

解決辦法：

• 為網(wǎng)站的頁面增加更多入口

• 比較重要的頁面或者專題，可以在首頁或者頻道頁添加鏈接，加大其權(quán)重

• 利用好站內(nèi)錨廣本

• 網(wǎng)站地圖減少頁面鏈接深度
  

2、減少網(wǎng)站目錄的深度

網(wǎng)站目錄深度實(shí)際上就是URL的目錄層次，做到網(wǎng)站形成扁平式，建議不要超過3級(jí)。

建議： 網(wǎng)站分為 首頁-頻道頁-內(nèi)容頁  

這三層，相關(guān)文章可以通過專題頁來匯總起來，以降低目錄深度。