搜索引擎只是網站上一個普通的訪客,對網站的抓取方式、對網站/網頁的價值判斷,也都是從用戶的角度出發(fā)的,任何對用戶體驗的改進,都是對搜索引擎改進.對搜索引擎的優(yōu)化,同時也會讓用戶受益.

    面向搜索引擎的網站建設,主要分為三個部分:如何更好的讓搜索引擎收錄網站中的內容、如何在搜索引擎中獲得良好的排名、如何讓用戶從眾多的搜索結果中點擊你的網站.簡單來說,就是收錄、排序、展現.下面我們將從這三個方面分別介紹.

    機器可讀

    百度通過一個叫做Baiduspider的程序抓取互聯網上的網頁,經過處理后建入索引中.目前Baiduspider只能讀懂文本內容,flash、圖片等非文本內容暫時不能處理,放置在flash、圖片中的文字,百度無法識別.

    建議使用文字而不是flash、圖片、Javascript等來顯示重要的內容或鏈接,搜索引擎暫時無法識別Flash、圖片、Javascript中的內容,這部分內容無法搜索到;僅在flash、Javascript中包含鏈接指向的網頁,百度可能無法收錄.

    百度優(yōu)化建議

    使用文字而不是flash、圖片、Javascript等來顯示重要的內容或鏈接;

    如果必須使用Flash制作網頁,建議同時制作一個供搜索引擎收錄的文字版,并在首頁使用文本鏈接指向文字版;

    Ajax等搜索引擎不能識別的技術,只用在需要用戶交互的地方,不把希望搜索引擎"看"到的導航及正文內容放到Ajax中;

    不使用frame和iframe框架結構,通過iframe顯示的內容可能會被百度丟棄.

    網站結構

    網站應該有清晰的結構和明晰的導航,這能幫助用戶快速從你的網站中找到自己需要的內容,也可以幫助搜索引擎快速理解網站中每一個網頁所處的結構層次.

    網站結構建議采用樹型結構,樹型結構通常分為以下三個層次:首頁--頻道--文章頁.象一棵大樹一樣,首先有一個樹干(首頁),然后再是樹枝(頻道),最后是樹葉(普通內容頁).樹型結構的擴展性更強,網站內容變多時,可以通過細分樹枝(頻道)來輕松應對.

    理想的網站結構應該是更扁平一些,從首頁到內容頁的層次盡量少,這樣搜索引擎處理起來,會更簡單.

    同時,網站也應該是一個網狀結構,網站上每個網頁都應該有指向上、下級網頁以及相關內容的鏈接:首頁有到頻道頁的鏈接,頻道頁有到首頁和普通內容頁的鏈接、普通內容頁有到上級頻道以及首頁的鏈接、內容相關的網頁間互相有鏈接.

    網站中每一個網頁,都應該是網站結構的一部分,都應該能通過其他網頁鏈接到.

    總結一下,合理的網站結構應該是一個扁平的樹型網狀結構.

    百度優(yōu)化建議

    確保每個頁面都可以通過至少一個文本鏈接到達;

    重要的內容,應該能從首頁或者網站結構中比較淺的層次訪問到;

    合理分類網站上的內容,不要過度細分.

    網站應該有簡明、清晰的導航,可以讓用戶快速找到自己需要的內容,同時也可以幫助搜索引擎更好的了解網站的結構.

    百度優(yōu)化建議

    為每個頁面都加上導航欄,讓用戶可以方便的返回頻道、網站首頁,也可以讓搜索引擎方便的定位網頁在網結構中的層次;

    內容較多的網站,建議使用面包屑式的導航,這更容易讓用戶理解當前所處的位置:網站首頁 > 頻道 > 當前瀏覽頁面 ;

    導航中使用文字鏈接,不使用復雜的js或者flash;

    使用圖片做導航時,可以使用Alt注釋,用Alt告訴搜索引擎所指向的網頁內容是什么.

    合理的返回碼

    百度爬蟲在進行抓取和處理時,是根據http協議規(guī)范來設置相應的邏輯的,所以請站長們也盡量參考http協議中關于返回碼的含義的定義進行設置.

    Baiduspider 對常用的http返回碼的處理邏輯是這樣的:

    404 返回碼的含義是 "Not Found",百度會認為網頁已經失效,那么通常會從搜索結果中刪除,并且短期內 spider 再次發(fā)現這條 URL 也不會抓取.

    503 返回碼的含義是 "Service Unavailable",百度會認為該網頁臨時不可訪問,通常網站臨時關閉,帶寬有限等會產生這種情況.對于網頁返回503,百度 spider 不會把這條 URL 直接刪除,短期內會再訪問.屆時如果網頁已恢復,則正常抓取;如果繼續(xù)返回503,短期內還會反復訪問幾次.但是如果網頁長期返回503,那么這個 URL 仍會被百度認為是失效鏈接,從搜索結果中刪除.

    403 返回碼的含義是 "Forbidden",百度會認為網頁當前禁止訪問.對于這種情況,如果是新發(fā)現的URL,百度 spider 暫不抓取,短期內會再次檢查;如果是百度已經收錄的URL,當前也不會直接刪除,短期內同樣會再訪問.屆時如果網頁允許訪問,則正常抓取;如果仍不允許訪問,短期內還會反復訪問幾次.但是如果網頁長期返回403,百度也會認為是失效鏈接,從搜索結果中刪除.

    301 返回碼的含義是 "Moved Permanently",百度會認為網頁當前跳轉至新URL.當遇到站點遷移、域名更換和站點改版的情況時,推薦使用301返回碼,盡量減少改版帶來的流量損失.雖然百度spider 現在對301跳轉的響應周期較長,但是我們還是推薦大家這么做.