:
<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    robots.txt格式詳解

    作者:dengying 瀏覽:1982 發布時間:2015-05-28
    編輯 分享 評論 0

        

        "robots.txt"文件包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL, or NL作為結束符),每一條記錄的格式如下所示:

        "<field>:<optional space><value><optional space>"

        在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,詳細情況如下:

        User-agent:

        該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則對任何robot均有效, 在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中,加入"User- agent:SomeBot"和若干Disallow、Allow行,那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

        Disallow:

        該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以      Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help /index.html,而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問 /help/index.html。"Disallow:"說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一 條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。

        Allow:

        該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁 同時禁止訪問其它所有URL的功能。

        使用"*"and"$":

        Baiduspider支持使用通配符"*"和"$"來模糊匹配url。

        "$" 匹配行結束符。

        "*" 匹配0或多個任意字符。


    詞條統計

  • 瀏覽次數:1982
  • 編輯次數:0次歷史版本
  • 最近更新:2015-05-28
  • 創建者:dengying
  • 相關詞條

    相關問答

    相關百科

    相關資訊

    欧美日韩中文字幕在线看| 无码人妻一区二区三区在线| 亚洲精品高清无码视频| 亚洲日韩乱码中文无码蜜桃臀网站| 亚洲AV中文无码乱人伦下载| 日韩电影免费在线观看中文字幕| 99热门精品一区二区三区无码| 直接看的成人无码视频网站| 亚洲中文字幕无码一区| 国产啪亚洲国产精品无码| 无码国产精品一区二区免费模式| 久久久久亚洲av成人无码电影| 中文字幕无码日韩专区| 久久久久亚洲AV无码专区体验| 中文字幕无码高清晰| 4hu亚洲人成人无码网www电影首页 | 中文字幕精品一区二区日本| 国产网红主播无码精品| 亚洲VA中文字幕不卡无码| 特级做A爰片毛片免费看无码| 中文字幕一区二区精品区| 精品人妻va出轨中文字幕| 久久精品中文字幕一区| 中文字幕在线精品视频入口一区| 精品无人区无码乱码毛片国产 | 亚洲AV无码成人精品区天堂| 中文有无人妻vs无码人妻激烈 | 亚洲精品无码乱码成人| 日韩精品无码免费专区午夜 | 亚洲av中文无码乱人伦在线咪咕| 特级做A爰片毛片免费看无码| 一二三四在线观看免费中文在线观看 | 无码内射中文字幕岛国片| 未满小14洗澡无码视频网站| 波多野结衣AV无码久久一区| 亚洲av无码潮喷在线观看| 天堂Aⅴ无码一区二区三区 | 国产精品无码专区| 久久av无码专区亚洲av桃花岛| 久久久久亚洲av无码专区导航| 无码永久免费AV网站|