人工錄入的種子網站.
分享
評論
贊0
廣度優先搜索
在深度優先搜索算法中,是深度越大的結點越先得到擴展.如果在搜索中把算法改為按結點的層次進行搜索, 本層的結點沒有搜索處理完時,不能對下層結點進行處理,即深度越小的結點越先得到擴展,也就是說先產生 的結點先得以擴展處理,這種搜索算法稱為廣度優先搜索法.
在深度優先搜索算法中,是深度越大的結點越先得到擴展.如果在搜索中把算法改為按結點的層次進行搜索, 本層的結點沒有搜索處理完時,不能對下層結點進行處理,即深度越小的結點越先得到擴展,也就是說先產生 的結點先得以擴展處理,這種搜索算法稱為廣度優先搜索法.
吸引蜘蛛
哪些頁面被認為比較重要呢?有幾方面影響因素:
· 網站和頁面權重.質量高、資格老的網站被認為權重比較高,這種網站上的頁面被爬行的深度也會比較高,所以會有更多內頁被收錄.
· 頁面更新度.蜘蛛每次爬行都會把頁面數據存儲起來.如果第二次爬行發現頁面與第一次收錄的完全一樣,說明頁面沒有更新,蜘蛛也就沒有必要經常抓取.如果頁面內容經常更新,蜘蛛就會更加頻繁地訪問這種頁面,頁面上出現的新鏈接,也自然會被蜘蛛更快跟蹤,抓取新頁面.
· 導入鏈接.無論是外部鏈接還是同一個網站的內部鏈接,要被蜘蛛抓取就必須有導入鏈接進入頁面,否則蜘蛛根本沒有機會知道頁面的存在.高質量的導入鏈接也經常使頁面上的導出鏈接被爬行深度增加.一般來說網站上權重最高的是首頁,大部分外部鏈接是指向首頁,蜘蛛訪問最頻繁的也是首頁.離首頁點擊距離越近,頁面權重越高,被蜘蛛爬行的機會也越大.
地址庫
為了避免重復爬行和抓取網址,搜索引擎會建立一個地址庫,記錄已經被發現還沒有抓取的頁面,以及已經被抓取的頁面.地址庫中的uRL有幾個來源:
(1)人工錄入的種子網站.
(2)蜘蛛抓取頁面后,從HTML中解析出新的鏈接uRL,與地址庫中的數據進行對比,如果是地址庫中沒有的網址,就存入待訪問地址庫.
(3)站長通過搜索引擎網頁提交表格提交進來的網址.
蜘蛛按重要性從待訪問地址庫中提取uRL,訪問并抓取頁面,然后把這個uRL從待訪問地址庫中刪除,放進已訪問地址庫中.
大部分主流搜索引擎都提供一個表格,讓站長提交網址.不過這些提交來的網址都只是存入地址庫而已,是否收錄還要看頁面重要性如何.搜索引擎所收錄的絕大部分頁面是蜘蛛自己跟蹤鏈接得到的.可以說提交頁面基本t是毫無用處的,搜索引擎更喜歡自己沿著鏈接發現新頁面.
文件存儲搜索引擎蜘蛛抓取的數據存入原始頁面數據庫.其中的頁面數據與用戶瀏覽器得到的HTML是完全一樣的.每個uRI,都有一個獨特的文件編號.
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論