<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    robots.txt怎么寫?【seo優化】

    作者:山里的苦丁 瀏覽:249 發布時間:2018-01-29
    分享 評論 0

      robots文件是用來告訴搜索引擎:這個網站上哪些部分可以被訪問、哪些不可以,robots文件是存放在網站根目錄下的一個純文本文件。當搜索引擎訪問一個網站時,它首先會檢查該網站根目錄下是否存在robots文件。robots文件必須放置在一個網站的根目錄下,而且文件名必須全部小寫。


      我們做的網站肯定希望被收錄,因為網站流量的一部分或者是大部分都是來自搜索,所以對網站來說是很重要的。問題是:我們有的網站內容不希望杯搜索到,那么怎么辦呢?在這種情況下,我們就有必要會用到robots文件,來與搜索引擎溝通。所有的搜索引擎蜘蛛自動在網站根目錄中尋找這個文件,所以你只需創建它并上傳,然后等待蜘蛛來閱讀。


      1、允許所有搜索引擎訪問


      User-agent: *


      Disallow:


      或者


      User-agent: *


      Allow: /


      在這里大家要注意下,可以最直接的建一個空文件 “robots.txt”然后放到網站的根目錄。


      2、禁止所有搜索引擎訪問


      User-agent: *


      Disallow: /


      或者


      User-agent: *


      allow:


      3、禁止所有搜索引擎訪問網站中的幾個部分,在這里我用a、b、c目錄來代替


      User-agent: *


      Disallow: /a/


      Disallow: /b/


      Disallow: /c/


      如果是允許,則是


      Allow: /a/


      Allow: /b/


      Allow: /c/


      4、禁止某個搜索引擎的訪問,我用w來代替


      User-agent: w


      Disallow: /


      或


      User-agent: w


      Disallow: /d/*.htm


      在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL,包含子目錄。


      5、只允許某個搜索引擎的訪問,我用e來代替


      User-agent: e


      Disallow:


      在Disallow:后面不加任何東西,意思是僅允許e訪問該網站。


      6、使用”$”限制訪問url


      User-agent: *


      Allow: .htm$


      Disallow: /


      意思是僅允許訪問以”.htm”為后綴的URL


      7、禁止訪問網站中所有的動態頁面


      User-agent: *


      Disallow: /*?*


      8、禁止搜索引擎F抓取網站上所有圖片


      User-agent: F


      Disallow: .jpg$


      Disallow: .jpeg$


      Disallow: .gif$


      Disallow: .png$


      Disallow: .bmp$


      意思是只允許引擎抓取網頁,禁止抓取任何圖片(嚴格來說,是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。)


      9、只允許搜索引擎E抓取網頁和.gif格式圖片


      User-agent: E


      Allow: .gif$


      Disallow: .jpg$


      Disallow: .jpeg$


      Disallow: .png$


      Disallow: .bmp$


      意思是只允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片


      END


      注意事項


      絕大多數的搜索引擎機器人都遵守robots文件的規則,關于怎么寫robots文件的方法,大致就是這些了。要提醒大家的是:robots.txt文件一定要寫對,如果不太會寫,還是要先了解再寫,以免給網站的收錄帶來麻煩。


    免费在线中文日本| 亚洲国产成人精品无码久久久久久综合| 国产精品无码成人午夜电影| 天堂资源在线最新版天堂中文| 久久无码人妻一区二区三区| 中文字幕一区二区三区日韩精品| 中文字幕亚洲欧美日韩2019| 无码AV岛国片在线播放| 中文字幕在线观看国产| 日韩国产中文字幕| 亚洲乱亚洲乱少妇无码| 精品久久久久久无码人妻热| 无码中文av有码中文a| 久久午夜夜伦鲁鲁片免费无码影视| 人妻无码αv中文字幕久久琪琪布 人妻无码中文久久久久专区 | 精品久久久久中文字幕一区| 亚洲av无码乱码在线观看野外| 亚洲AV综合色区无码一区爱AV| 中文国产成人精品久久亚洲精品AⅤ无码精品 | 中文无码字慕在线观看| 黑人无码精品又粗又大又长| 精品无码久久久久久午夜| 无码午夜成人1000部免费视频 | 日韩乱码人妻无码中文字幕视频 | 亚洲欧洲中文日韩av乱码| 亚洲中文字幕不卡无码| 影院无码人妻精品一区二区| 毛片无码全部免费| 日韩乱码人妻无码中文视频| 国产啪亚洲国产精品无码| 2021无码最新国产在线观看| 国产综合无码一区二区三区| 国产又爽又黄无码无遮挡在线观看| 91精品久久久久久无码 | 国产AV无码专区亚洲AV毛网站| 无码国产精品一区二区免费16 | 久久水蜜桃亚洲av无码精品麻豆| 无码成A毛片免费| 国产AV无码专区亚洲AVJULIA| 久久精品无码一区二区app| 亚洲精品无码久久久|