新鏈接重要程度判斷

好啦，上面我們說(shuō)了影響B(tài)aiduspider正常抓取的原因，下面就要說(shuō)說(shuō)Baiduspider的一些判斷原則了。在建庫(kù)環(huán)節(jié)前，Baiduspide會(huì)對(duì)頁(yè)面進(jìn)行初步內(nèi)容分析和鏈接分析，通過(guò)內(nèi)容分析決定該網(wǎng)頁(yè)是否需要建索引庫(kù)，通過(guò)鏈接分析發(fā)現(xiàn)更多網(wǎng)頁(yè)，再對(duì)更多網(wǎng)頁(yè)進(jìn)行抓取——分析——是否建庫(kù)&發(fā)現(xiàn)新鏈接的流程。理論上，Baiduspider會(huì)將新頁(yè)面上所有能“看到”的鏈接都抓取回來(lái)，那么面對(duì)眾多新鏈接，Baiduspider根據(jù)什么判斷哪個(gè)更重要呢？?jī)煞矫妫?/p>

第一，對(duì)用戶(hù)的價(jià)值：
1，內(nèi)容獨(dú)特，百度搜索引擎喜歡unique的內(nèi)容
2，主體突出，切不要出現(xiàn)網(wǎng)頁(yè)主體內(nèi)容不突出而被搜索引擎誤判為空短頁(yè)面不抓取
3，內(nèi)容豐富
4，廣告適當(dāng)

第二，鏈接重要程度：
1，目錄層級(jí)——淺層優(yōu)先
2，鏈接在站內(nèi)的受歡迎程度

百度優(yōu)先建重要庫(kù)的原則

Baiduspider抓了多少頁(yè)面并不是最重要的，重要的是有多少頁(yè)面被建索引庫(kù)，即我們常說(shuō)的“建庫(kù)”。眾所周知，搜索引擎的索引庫(kù)是分層級(jí)的，優(yōu)質(zhì)的網(wǎng)頁(yè)會(huì)被分配到重要索引庫(kù)，普通網(wǎng)頁(yè)會(huì)待在普通庫(kù)，再差一些的網(wǎng)頁(yè)會(huì)被分配到低級(jí)庫(kù)去當(dāng)補(bǔ)充材料。目前60%的檢索需求只調(diào)用重要索引庫(kù)即可滿(mǎn)足，這也就解釋了為什么有些網(wǎng)站的收錄量超高流量卻一直不理想。

那么，哪些網(wǎng)頁(yè)可以進(jìn)入優(yōu)質(zhì)索引庫(kù)呢。其實(shí)總的原則就是一個(gè)：對(duì)用戶(hù)的價(jià)值。包括卻不僅于：
1，有時(shí)效性且有價(jià)值的頁(yè)面：在這里，時(shí)效性和價(jià)值是并列關(guān)系，缺一不可。有些站點(diǎn)為了產(chǎn)生時(shí)效性?xún)?nèi)容頁(yè)面做了大量采集工作，產(chǎn)生了一堆無(wú)價(jià)值面頁(yè)，也是百度不愿看到的.
2，內(nèi)容優(yōu)質(zhì)的專(zhuān)題頁(yè)面：專(zhuān)題頁(yè)面的內(nèi)容不一定完全是原創(chuàng)的，即可以很好地把各方內(nèi)容整合在一起，或者增加一些新鮮的內(nèi)容，比如觀點(diǎn)和評(píng)論，給用戶(hù)更豐富全面的內(nèi)容。
3，高價(jià)值原創(chuàng)內(nèi)容頁(yè)面：百度把原創(chuàng)定義為花費(fèi)一定成本、大量經(jīng)驗(yàn)積累提取后形成的文章。千萬(wàn)不要再問(wèn)我們偽原創(chuàng)是不是原創(chuàng)。
4，重要個(gè)人頁(yè)面：這里僅舉一個(gè)例子，科比在新浪微博開(kāi)戶(hù)了，即使他不經(jīng)常更新，但對(duì)于百度來(lái)說(shuō)，它仍然是一個(gè)極重要的頁(yè)面。

哪些網(wǎng)頁(yè)無(wú)法建入索引庫(kù)

上述優(yōu)質(zhì)網(wǎng)頁(yè)進(jìn)了索引庫(kù)，那其實(shí)互聯(lián)網(wǎng)上大部分網(wǎng)站根本沒(méi)有被百度收錄。并非是百度沒(méi)有發(fā)現(xiàn)他們，而是在建庫(kù)前的篩選環(huán)節(jié)被過(guò)濾掉了。那怎樣的網(wǎng)頁(yè)在最初環(huán)節(jié)就被過(guò)濾掉了呢：
        1， 重復(fù)內(nèi)容的網(wǎng)頁(yè)：互聯(lián)網(wǎng)上已有的內(nèi)容，百度必然沒(méi)有必要再收錄。
        2， 主體內(nèi)容空短的網(wǎng)頁(yè)
        1）有些內(nèi)容使用了百度spider無(wú)法解析的技術(shù)，如JS、AJAX等，雖然用戶(hù)訪問(wèn)能看到豐富的內(nèi)容，依然會(huì)被搜索引擎拋棄
        2）加載速度過(guò)慢的網(wǎng)頁(yè)，也有可能被當(dāng)作空短頁(yè)面處理，注意廣告加載時(shí)間算在網(wǎng)頁(yè)整體加載時(shí)間內(nèi)。
        3）很多主體不突出的網(wǎng)頁(yè)即使被抓取回來(lái)也會(huì)在這個(gè)環(huán)節(jié)被拋棄。
        3， 部分作弊網(wǎng)頁(yè)