<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    robots.txt文件到底有什么用呢?

    作者:山里的苦丁 瀏覽:243 發(fā)布時間:2017-11-01
    分享 評論 0

      前幾天有朋友在網(wǎng)站通過聊天窗口問苦丁,有什么什么辦法阻止搜索引擎的收錄,因為自己網(wǎng)站上面有的東西不想被搜索引擎收錄。其實是可以實現(xiàn)的,在這里就有必要好好介紹一下robots.txt文件,因為通過這個robots.txt全完可以實現(xiàn)搜索引擎收錄的問題。


      其實不管是企業(yè)網(wǎng)站還是門戶網(wǎng)站,上面都會有些資料是保密而不對外公開的。怎么樣做到不對外公開呢?唯一的保密的措施就是不讓搜索引擎來搜錄這些信息。這 樣就會不在網(wǎng)絡(luò)上公司,那么要實現(xiàn)這個網(wǎng)站頁面不收錄,就體了robots.txt的作用啦!robots.txt是一個簡單的記事本文件,這是網(wǎng)站管理 員和搜錄引擎對話的一個通道。在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內(nèi)容。


      當(dāng)一個搜索機器人(有的叫搜索蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。


      既然我們這里知道了什么是robots.txt,我們該如何來應(yīng)用呢?


      1、如果我們網(wǎng)站的內(nèi)容為全部公開,則不需要要設(shè)置robots.txt或robots.txt為空就可以啦。


      2、robots.txt這個文件名必需要是小寫而且都要放在網(wǎng)站的根目錄下http://www.xxxxx.com/robots.txt一般要通過這種URL形式能訪問到,才說明我們放的位置是正確的。


      3、robots.txt一般只寫上兩種函數(shù):User-agent和 Disallow。有幾個禁止,就得有幾個Disallow函數(shù),并分行描述。


      4、至少要有一個Disallow函數(shù),如果都允許收錄,則寫: Disallow: ,如果都不允許收錄,則寫:Disallow: /  (注:只是差一個斜桿)。


      寫法說明


      User-agent: *  星號說明允許所有搜索引擎收錄


      Disallow: /search.html   說明 http://www.xxxxx.com/search.html 這個頁面禁止搜索引擎抓取。


      Disallow: /index.php?   說明類似這樣的頁面http://www.www.xxxxx.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。


      常見的用法實例:


      允許所有的robot訪問


      User-agent: *


      Disallow:


      或者也可以建一個空文件 “/robots.txt” file


      禁止所有搜索引擎訪問網(wǎng)站的任何部分


      User-agent: *


      Disallow: /


      禁止所有搜索引擎訪問網(wǎng)站的幾個部分(下例中的01、02、03目錄)


      User-agent: *


      Disallow: /01/


      Disallow: /02/


      Disallow: /03/


      禁止某個搜索引擎的訪問(下例中的BadBot)


      User-agent: BadBot


      Disallow: /


      只允許某個搜索引擎的訪問(下例中的Crawler)


      User-agent: Crawler


      Disallow:


      User-agent: *


      Disallow: /


      另外,我覺得有必要進行拓展說明,對robots meta進行一些介紹:


      Robots META標(biāo)簽則主要是針對一個個具體的頁面。和其他的META標(biāo)簽(如使用的語言、頁面的描述、關(guān)鍵詞等)一樣,Robots META標(biāo)簽也是放在頁面的<head></head>中,專門用來告訴搜索引擎ROBOTS如何抓取該頁的內(nèi)容。


      Robots META標(biāo)簽的寫法:


      Robots META標(biāo)簽中沒有大小寫之分,name=”Robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=”BaiduSpider”。 content部分有四個指令選項:index、noindex、follow、nofollow,指令間以“,”分隔。


      INDEX 指令告訴搜索機器人抓取該頁面;


      FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續(xù)抓取下去;


      Robots Meta標(biāo)簽的缺省值是INDEX和FOLLOW,只有inktomi除外,對于它,缺省值是INDEX,NOFOLLOW。


      這樣,一共有四種組合:


      <META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>


      <META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>


      <META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>


      <META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>


      其中


      <META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>可以寫成<META NAME=”ROBOTS” CONTENT=”ALL”>;


      <META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>可以寫成<META NAME=”ROBOTS” CONTENT=”NONE”>


      目前看來,絕大多數(shù)的搜索引擎機器人都遵守robots.txt的規(guī)則,而對于Robots META標(biāo)簽,目前支持的并不多,但是正在逐漸增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE還增加了一個指令“archive”,可以限制GOOGLE是否保留網(wǎng)頁快照。例如:


      <META NAME=”googlebot” CONTENT=”index,follow,noarchive”>


      表示抓取該站點中頁面并沿著頁面中鏈接抓取,但是不在GOOLGE上保留該頁面的網(wǎng)頁快照。


      robots.txt文件對于我們做SEO的朋友來說也是經(jīng)常要用到的,所以我們還要好好了解他的具體操作方法。苦丁分享


    日本按摩高潮a级中文片| 国产热の有码热の无码视频| 成年无码av片在线| 亚洲乱码中文字幕综合234| 少妇中文无码高清| 日韩国产精品无码一区二区三区| 日韩欧美中文亚洲高清在线| 久久av无码专区亚洲av桃花岛| 最近最好最新2019中文字幕免费| 无码av不卡一区二区三区| 日日麻批免费40分钟无码| 中文字幕国产| av中文字幕在线| 中中文字幕亚洲无线码| 国产a v无码专区亚洲av| 无码专区狠狠躁躁天天躁| 国产日韩AV免费无码一区二区| 久久中文骚妇内射| 成人性生交大片免费看中文| 国产高新无码在线观看| 久久久久亚洲精品无码蜜桃| 亚洲国产成人片在线观看无码| 中文精品久久久久人妻| 国产精品无码A∨精品影院| 中文字幕久久精品无码| 日韩视频中文字幕精品偷拍| 中文www新版资源在线| 中文字幕无码日韩专区| 中文字幕网伦射乱中文| 一本之道高清无码视频| 亚洲av无码专区在线观看下载| 国产精品99精品无码视亚| 狠狠躁天天躁无码中文字幕| 91久久精品无码一区二区毛片| 国产精品99精品无码视亚| 99国产精品无码| 日韩乱码人妻无码中文视频| 久久亚洲精品无码观看不卡| 国产成人一区二区三中文| 三级理论中文字幕在线播放| 中文字幕亚洲综合久久2|