1、抓取網(wǎng)頁覆蓋率

　　對于現(xiàn)在的搜索引擎來說，還沒有哪個(gè)搜索引擎能抓取互聯(lián)網(wǎng)上出現(xiàn)的所有網(wǎng)頁，所有搜索引擎只能索引互聯(lián)網(wǎng)的一部分而已，這里就有一個(gè)概念——“暗網(wǎng)”，暗網(wǎng)是指目前搜索引擎蜘蛛按照常規(guī)方式很難抓取到的互聯(lián)網(wǎng)頁面，蜘蛛是依賴頁面中的鏈接發(fā)現(xiàn)新的頁面，進(jìn)而抓取索引，但是很多頁面內(nèi)容是以數(shù)據(jù)庫方式存儲(chǔ)的。這樣蜘蛛很難或無法抓取這些信息，結(jié)果就是用戶也無法在搜索引擎搜索得到這些信息。

　　2、抓取網(wǎng)頁的重要性

　　蜘蛛抓取了很多內(nèi)容，也及時(shí)更新了，但如果抓取的都是一些低質(zhì)量內(nèi)容，那肯定是不行的。盡管要多抓勤抓，但是每個(gè)網(wǎng)頁重要性差異很大，這就是矛盾的地方，搜索引擎蜘蛛不僅要干得多、干得快、還要干得好。所以必然會(huì)優(yōu)先照顧部分能經(jīng)常提供高質(zhì)量內(nèi)容的網(wǎng)站，特別是定時(shí)定量更新的，這樣才能最大程度上保證優(yōu)質(zhì)內(nèi)容不被漏掉，這也可以說是沒辦法的辦法。如果搜索引擎蜘蛛抓回的網(wǎng)頁大都是比較重要的網(wǎng)頁，則可說其在抓取網(wǎng)頁重要性方面做得很好。

　　3、抓取網(wǎng)頁時(shí)效性

　　說到用戶的搜索體驗(yàn)，網(wǎng)頁的時(shí)效性相對覆蓋率句更加直觀了，比如你在搜索結(jié)果搜索到了一個(gè)結(jié)果，當(dāng)你點(diǎn)擊后頁面是不存在的，作何感想搜索引擎是在努力避免這些的，所以蜘蛛抓取網(wǎng)頁時(shí)效性同樣是一個(gè)重要考核點(diǎn)。互聯(lián)網(wǎng)信息比較多，蜘蛛抓取一輪需要較長的時(shí)間周期，這個(gè)時(shí)間內(nèi)之前建立索引的很多網(wǎng)頁可能已經(jīng)發(fā)生變化或者被刪除，這就導(dǎo)致搜索結(jié)果中有一部分是過期的數(shù)據(jù)。