本人從事SEO多年，優化的案例從幾千到幾十萬IP的都有，正規灰色都有，正規站從未主動發過外鏈。也很不理解為什么非要去做外鏈。就非企業站點來說，單錨本文提升單詞效果不大，可能是因為優化的站點原因。我接手的都是比較中大型的網站，不會刻意的去堆砌某個關鍵字的排名，更不用說去專門做某詞的錨文本進行投票了。那么應該如何優化大型站點呢。我覺得最重要的因素就是架構/結構。今天跟大家分享首要的架構：url優化。

　　URL優化的效果跟站點在百度的權重關聯性不大，但是對收錄、蜘蛛爬行和傳遞權重有明顯的提升。我雖然不常發貼但是經常觀察到大部分SEO的提問都是收錄怎么怎么不好，權重怎么怎么不高，我也觀看過很多站點，很多基礎的工作完全都處于迷糊的狀態。試想換一種思路，站長變成spider來爬行你的站，我相信大部分站長自己都跑不通。這里我只給出url優化的幾個重要點。

　　1.URL一致性：URL 一致性是一個非常重要的指標，推薦大家一本書《走進搜索引擎》里面有介紹spider是一種機器程序，而非人腦，雖然也有學習的過程，但是國內網站千千萬，每個網站有不同的url規范，你如果url命名規則雜亂無章spider又怎能高效的辨別你的內容規范？ 這里舉個個人覺得做的比較好的case：“下載吧”。讀者可以去翻閱下載吧的網站。他的主體結構為：首頁=>列表頁=>內容頁 。這里因地制宜，只是舉例可能并不適合你的站點。

　　下載吧我分析到他的優化權重承載頁為他的內容頁。而百度有“偏權重”的說法(見2)，所以他把所有的列表頁統一用downlist/1~*.html的寫法。沒有給予列表頁過于集權也避免了“偏權重”的影響。 這樣子spider可以很自由的識別，只要在downlist目錄下面的(數字.html)都屬于他的列表頁，層次清晰，爬取也很流暢。而他的集權重心在于內容頁。內容頁統一url為html/1~*.html 通過標簽優化和鏈輪把權重導向給html下面的目錄。“偏權重”集中在html目錄下。spider也很清晰的可以判斷/html目錄下面的(數字.html)都屬于內頁，層次清晰、爬取流暢，權重傳遞的也很集中，這也屬于集權的一種做法。自然收錄好權重高了。

　　2.偏權重：偏權重可能是我自己創造的一個首發詞，大神們勿噴。通過我多年的分析發現，每個站點的流量是有集中點的。這個從愛站的工具里面大家可以看出來，這里拿我一個客戶和朋友的網站給大家做做案例。

　　同一個網站 90%的流量都出自于某個目錄，在這里面內容類型內容質量都是一樣的。相信大家在自己作站過程中也有所體會，百度會偏向給權重到某個目錄。考慮到這個問題，url一致性和目錄規劃就更重要了。

　　3.爬行原理：蜘蛛爬行原理有 深度優先和寬度優先這里分開說一下：

　　(1)深度優先：深度優先適用于一些大站，蜘蛛很渴望得到他的內容，比如新浪網易他們的目錄很長，也能收錄。假如我們給蜘蛛一個線程只能爬取一個頁面，爬行軌跡：首頁-封面頁-頻道頁-內容頁，那么你網站的結構是：首頁=> xxx/a=> xxx/a/b=> xxx/a/b/c/1.html=>。蜘蛛會沿著你的深度爬行進去，但是無論多大的站，你的深度也必須有限，否則蜘蛛不可能無窮盡的挖掘進去，爬累了自然就會離開。并且內容也沒帶回去。

　　(2)寬度優先：這個是我非常推崇的，而且我所有新站都是這種效果。我自己建了5天的站蜘蛛爬行800次。效果說明在扁平化的今天，寬度優先是可以讓蜘蛛非常高效的爬行和返回的。url結構 xxx/a/ xxx/b/ xxx/c/ 這類的叫寬度優化，爬行軌跡 ：首頁-頻道頁A-頻道頁B-頻道頁C/首頁-頻道頁A-內容頁A1-內容頁A2-內容頁A*

　　綜上所述。其實可以看出：寬度優先的效率明顯高于深度優先。而且蜘蛛的任務類別也單一，非常容易識別。同一線程爬取的幾乎是同一類型頁面，頁面樣式，外觀相同。蜘蛛不必花時間過于的去分析你的頁面內結構，層次清晰。

　　4.爬蟲黑洞：這個問題不是什么新問題了。百度也有做專門的闡述，因為一些url處理不當產生的動態參數后綴，或是刻意圈住蜘蛛所做的無限循環，這種的效果明顯是弊大于利。對URL 的規劃上一定要想辦法盡可能的處理掉無限動態參數后綴，并且也要合理的給蜘蛛出口，這才是真正有利于SEO 的做法，關于處理爬蟲黑洞的辦法這里我不做多講解。《巧用robots避免蜘蛛黑洞》。