<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    robots.txt文件到底有什么用呢?

    作者:山里的苦丁 瀏覽:243 發(fā)布時間:2017-11-01
    分享 評論 0

      前幾天有朋友在網(wǎng)站通過聊天窗口問苦丁,有什么什么辦法阻止搜索引擎的收錄,因為自己網(wǎng)站上面有的東西不想被搜索引擎收錄。其實是可以實現(xiàn)的,在這里就有必要好好介紹一下robots.txt文件,因為通過這個robots.txt全完可以實現(xiàn)搜索引擎收錄的問題。


      其實不管是企業(yè)網(wǎng)站還是門戶網(wǎng)站,上面都會有些資料是保密而不對外公開的。怎么樣做到不對外公開呢?唯一的保密的措施就是不讓搜索引擎來搜錄這些信息。這 樣就會不在網(wǎng)絡(luò)上公司,那么要實現(xiàn)這個網(wǎng)站頁面不收錄,就體了robots.txt的作用啦!robots.txt是一個簡單的記事本文件,這是網(wǎng)站管理 員和搜錄引擎對話的一個通道。在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內(nèi)容。


      當(dāng)一個搜索機器人(有的叫搜索蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。


      既然我們這里知道了什么是robots.txt,我們該如何來應(yīng)用呢?


      1、如果我們網(wǎng)站的內(nèi)容為全部公開,則不需要要設(shè)置robots.txt或robots.txt為空就可以啦。


      2、robots.txt這個文件名必需要是小寫而且都要放在網(wǎng)站的根目錄下http://www.xxxxx.com/robots.txt一般要通過這種URL形式能訪問到,才說明我們放的位置是正確的。


      3、robots.txt一般只寫上兩種函數(shù):User-agent和 Disallow。有幾個禁止,就得有幾個Disallow函數(shù),并分行描述。


      4、至少要有一個Disallow函數(shù),如果都允許收錄,則寫: Disallow: ,如果都不允許收錄,則寫:Disallow: /  (注:只是差一個斜桿)。


      寫法說明


      User-agent: *  星號說明允許所有搜索引擎收錄


      Disallow: /search.html   說明 http://www.xxxxx.com/search.html 這個頁面禁止搜索引擎抓取。


      Disallow: /index.php?   說明類似這樣的頁面http://www.www.xxxxx.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。


      常見的用法實例:


      允許所有的robot訪問


      User-agent: *


      Disallow:


      或者也可以建一個空文件 “/robots.txt” file


      禁止所有搜索引擎訪問網(wǎng)站的任何部分


      User-agent: *


      Disallow: /


      禁止所有搜索引擎訪問網(wǎng)站的幾個部分(下例中的01、02、03目錄)


      User-agent: *


      Disallow: /01/


      Disallow: /02/


      Disallow: /03/


      禁止某個搜索引擎的訪問(下例中的BadBot)


      User-agent: BadBot


      Disallow: /


      只允許某個搜索引擎的訪問(下例中的Crawler)


      User-agent: Crawler


      Disallow:


      User-agent: *


      Disallow: /


      另外,我覺得有必要進行拓展說明,對robots meta進行一些介紹:


      Robots META標(biāo)簽則主要是針對一個個具體的頁面。和其他的META標(biāo)簽(如使用的語言、頁面的描述、關(guān)鍵詞等)一樣,Robots META標(biāo)簽也是放在頁面的<head></head>中,專門用來告訴搜索引擎ROBOTS如何抓取該頁的內(nèi)容。


      Robots META標(biāo)簽的寫法:


      Robots META標(biāo)簽中沒有大小寫之分,name=”Robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=”BaiduSpider”。 content部分有四個指令選項:index、noindex、follow、nofollow,指令間以“,”分隔。


      INDEX 指令告訴搜索機器人抓取該頁面;


      FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續(xù)抓取下去;


      Robots Meta標(biāo)簽的缺省值是INDEX和FOLLOW,只有inktomi除外,對于它,缺省值是INDEX,NOFOLLOW。


      這樣,一共有四種組合:


      <META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>


      <META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>


      <META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>


      <META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>


      其中


      <META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>可以寫成<META NAME=”ROBOTS” CONTENT=”ALL”>;


      <META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>可以寫成<META NAME=”ROBOTS” CONTENT=”NONE”>


      目前看來,絕大多數(shù)的搜索引擎機器人都遵守robots.txt的規(guī)則,而對于Robots META標(biāo)簽,目前支持的并不多,但是正在逐漸增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE還增加了一個指令“archive”,可以限制GOOGLE是否保留網(wǎng)頁快照。例如:


      <META NAME=”googlebot” CONTENT=”index,follow,noarchive”>


      表示抓取該站點中頁面并沿著頁面中鏈接抓取,但是不在GOOLGE上保留該頁面的網(wǎng)頁快照。


      robots.txt文件對于我們做SEO的朋友來說也是經(jīng)常要用到的,所以我們還要好好了解他的具體操作方法。苦丁分享


    日本aⅴ精品中文字幕| 国产真人无码作爱免费视频| 超清无码一区二区三区| 曰韩中文字幕在线中文字幕三级有码| 日韩AV无码久久一区二区| avtt亚洲一区中文字幕| 无码精品人妻一区二区三区影院| 午夜无码A级毛片免费视频| 久久精品中文字幕一区| 亚洲AV永久无码精品一区二区| 亚洲av成人无码久久精品| 中文字幕国产第一页首页| 中文字幕乱码人妻一区二区三区| 成人免费无码H在线观看不卡| 永久免费av无码网站yy| 亚洲欧美在线一区中文字幕| 最近的中文字幕在线看视频| 精品无码国产自产拍在线观看蜜| 亚洲成AV人在线观看天堂无码| 中文字幕乱人伦| 精品久久久无码中文字幕| 色综合久久中文综合网| 亚洲欧美精品一中文字幕| 免费无码午夜福利片| YY111111少妇无码理论片| 久久午夜伦鲁片免费无码| 亚洲AV无码成人精品区蜜桃| 久久人妻无码中文字幕| 中文字幕精品亚洲无线码一区应用| 中文字幕在线一区二区在线| 日韩av无码中文字幕| 亚洲色中文字幕无码AV| 大地资源中文在线观看免费版| 亚洲国产综合精品中文第一| 中文字幕无码人妻AAA片| 久久中文字幕人妻丝袜| 中文精品久久久久人妻不卡 | 中文字幕视频在线| 精品久久久久久久中文字幕| 中文字幕亚洲图片| 亚洲gv猛男gv无码男同短文|