<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    如何和搜索引擎爬蟲對話

    作者:奮青 瀏覽:171 發(fā)布時(shí)間:2018-04-24
    分享 評(píng)論 0

      抓取策略:那些網(wǎng)頁是我們需要去下載的,那些是無需下載的,那些網(wǎng)頁是我們優(yōu)先下載的,定義清楚之后,能節(jié)省很多無謂的爬取。更新策略:監(jiān)控列表頁來發(fā)現(xiàn)新的頁面;定期check 頁面是否過期等等。抽取策略:我們應(yīng)該如何的從網(wǎng)頁中抽取我們想要的內(nèi)容,不僅僅包含最終的目標(biāo)內(nèi)容,還有下一步要抓取的url.抓取頻率:我們需要合理的去下載一個(gè)網(wǎng)站,卻又不失效率。


      讓我對“如何和爬蟲對話 ”這個(gè)課題有了一些思考,下面歸納的主要用于迎合上面提到的爬蟲“抓取策略”。


      1、通過 robots.txt 和爬蟲對話:搜索引擎發(fā)現(xiàn)一個(gè)新站,原則上第一個(gè)訪問的就是 robots.txt 文件,可以通過 allow/disallow 語法告訴搜索引擎那些文件目錄可以被抓取和不可以被抓取。


      關(guān)于 robots.txt 的詳細(xì)介紹:about /robots.txt另外需要注意的是:allow/disallow 語法的順序是有區(qū)別的


      2、通過 meta tag 和爬蟲對話:比如有的時(shí)候我們希望網(wǎng)站列表頁不被搜索引擎收錄但是又希望搜索引擎抓取,那么可以通過 <meta name=“robots” content=“noindex,follow”> 告訴爬蟲,其他常見的還有 noarchive,nosnippet,noodp 等。


      3、通過 rel=“nofollow” 和爬蟲對話:關(guān)于 rel=“nofollow” 最近國平寫了一篇文章《如何用好 nofollow》很值得一讀,相信讀完之后你會(huì)有很大的啟發(fā)。


      4、通過 rel=“canonical” 和爬蟲對話:關(guān)于 rel=“canonical” 谷歌網(wǎng)站站長工具幫助有很詳細(xì)的介紹:深入了解 rel=“canonical”


      5、通過網(wǎng)站地圖和爬蟲對話:比較常見的是 xml 格式 sitemap 和 html 格式 sitemap,xml 格式 sitemap 可以分割處理或者壓縮壓縮,另外,sitemap 的地址可以寫入到 robots.txt 文件。


      6、通過網(wǎng)站管理員工具和搜索引擎對話:我們接觸最多的就是谷歌網(wǎng)站管理員工具,可以設(shè)定 googlebot 抓取的頻率,屏蔽不想被抓取的鏈接,控制 sitelinks 等,另外,Bing 和 Yahoo 也都有管理員工具,百度有一個(gè)百度站長平臺(tái),內(nèi)測一年多了仍舊在內(nèi)測,沒有邀請碼無法注冊。


      另外,這里面還衍生出一個(gè)概念,就是我一直比較重視的網(wǎng)站收錄比,所謂網(wǎng)站收錄比=網(wǎng)站在搜索引擎的收錄數(shù)/網(wǎng)站真實(shí)數(shù)據(jù)量,網(wǎng)站收錄比越高,說明搜索引擎對網(wǎng)站的抓取越順利。


      暫時(shí)就想到這些,目的在于嘗試性的探討如何更有效的提高網(wǎng)站在搜索引擎的收錄量。


    日韩人妻无码精品无码中文字幕| 亚洲日韩av无码| 亚洲av福利无码无一区二区 | 亚洲精品欧美二区三区中文字幕 | 国产成年无码久久久久毛片| 久久久久成人精品无码中文字幕 | 人妻系列无码专区久久五月天| 日日摸夜夜爽无码毛片精选| 亚洲精品无码99在线观看| 日韩人妻无码精品久久免费一| 在线中文字幕精品第5页| 熟妇人妻中文av无码| 久久久久亚洲AV片无码下载蜜桃 | 精品久久久无码中文字幕天天| 精选观看中文字幕高清无码| 日韩精品专区AV无码| 中文字幕亚洲一区| 最近高清中文在线国语字幕5| 无码人妻丝袜在线视频| 天堂资源中文最新版在线一区 | 一本无码中文字幕在线观| 欧美精品中文字幕亚洲专区| 爽到高潮无码视频在线观看| 人妻无码视频一区二区三区| 国产AV无码专区亚洲AWWW| 免费无码中文字幕A级毛片| 中文字幕精品无码久久久久久3D日动漫| 人妻少妇乱子伦无码视频专区| 日韩AV高清无码| 无码播放一区二区三区| 中文字幕日本精品一区二区三区| 久久精品中文闷骚内射| 亚洲一区无码中文字幕| 久本草在线中文字幕亚洲欧美 | 中文字幕色婷婷在线视频| 中文字幕有码无码AV| 中文字幕亚洲欧美日韩2019| 亚洲男人在线无码视频| 亚洲精品欧美精品中文字幕| 国产成人一区二区三中文| 亚洲欧美日韩中文在线制服|