Baiduspider - 百度蜘蛛
作者：紫羅蘭
瀏覽：1367次
發(fā)布時(shí)間：2017-04-27
編輯
分享
評論
贊0
百度是如何收錄到那么多網(wǎng)頁的呢？這個(gè)百度用以抓取互聯(lián)網(wǎng)上數(shù)以億計(jì)的網(wǎng)頁的程序，就叫做Baiduspider - 百度蜘蛛。 它是一個(gè)程序，夜以繼日得在互聯(lián)網(wǎng)上找尋新的URL，接著抓取URL上的內(nèi)容，返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫。 百度用來抓取網(wǎng)頁內(nèi)容的程序，叫做Baiduspider，抓取其他內(nèi)容的蜘蛛，則是新的名字
猜你喜歡