關(guān)于這個(gè)正確的寫(xiě)法,蛋疼博客-老林參考了很多作者的寫(xiě)法、還有百度的文獻(xiàn),發(fā)現(xiàn)有的作者解釋或者寫(xiě)法太過(guò)簡(jiǎn)單,造成新手不易理解,當(dāng)然蛋疼博客-老林也不敢保證百分百解釋得讓你很明白.

    是以什么形式存在?就是一份網(wǎng)站和搜索引擎雙方簽訂的規(guī)則協(xié)議書(shū).每一個(gè)搜索引擎的蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí),它首先爬行來(lái)檢查該站點(diǎn)根目錄下是否存在.如果存在,蜘蛛就會(huì)按照該協(xié)議書(shū)上的規(guī)則來(lái)確定自己的訪問(wèn)范圍;如果沒(méi)有,那么蜘蛛就會(huì)沿著鏈接抓取.

    請(qǐng)牢牢記住:必須放置在站點(diǎn)的根目錄下,而且文件名必須全部小寫(xiě).Disallow后面的冒號(hào)必須為英文狀態(tài)的.

    我們先來(lái)理解User-agent和Disallow的定義.

    ● User-agent:該項(xiàng)用于描述搜索引擎蜘蛛的名字.(1)規(guī)定所有蜘蛛:User-agent:*;(2)規(guī)定某一個(gè)蜘蛛:User-agent:BaiduSpider.

    ● Disallow:該項(xiàng)用于描述不希望被抓取和索引的一個(gè)URL,這個(gè)URL可以是一條完整的路徑.這有幾種不同定義和寫(xiě)法:(1)Disallow:/,任何以域名+Disallow描述的內(nèi)容開(kāi)頭的URL均不會(huì)被蜘蛛訪問(wèn),也就是說(shuō)以目錄內(nèi)的文件均不會(huì)被蜘蛛訪問(wèn);(2)Disallow:/則允許robots抓取和索引,而不能抓取和索引;(3)如果Disallow記錄為空,說(shuō)明該網(wǎng)站的所有部分都允許被訪問(wèn).在文件中,至少應(yīng)有Disallow記錄,如果為空文件,則對(duì)所有的搜索引擎robot來(lái)說(shuō),該網(wǎng)站都是開(kāi)放的.

    1、國(guó)內(nèi)建站需要用到的常見(jiàn)搜索引擎robot的名稱.

    有時(shí)候我們覺(jué)得網(wǎng)站訪問(wèn)量(IP)不多,但是網(wǎng)站流量為什么耗的快?有很多的原因是垃圾(沒(méi)有)蜘蛛爬行和抓取消耗的.而網(wǎng)站要屏蔽哪個(gè)搜索引擎或只讓哪個(gè)搜索引擎收錄的話,首先要知道每個(gè)搜索引擎robot的名稱.

    2、文件基本常用寫(xiě)法:

    首先,你先建一個(gè)空白文本文檔(記事本),然后命名為:.

    (1)禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分.

    User-agent: *

    Disallow: /

    (2)允許所有的robots訪問(wèn),無(wú)任何限制.

    User-agent: *

    Disallow:

    或者

    User-agent: *

    Allow: /

    還可以建立一個(gè)空文件或者不建立.

    (3)僅禁止某個(gè)搜索引擎的訪問(wèn)(例如:百度baiduspider)

    User-agent: BaiduSpider

    Disallow:/

    (4)允許某個(gè)搜索引擎的訪問(wèn)(還是百度)

    User-agent: BaiduSpider

    Disallow:

    User-agent: *

    Disallow: /

    這里需要注意,如果你還需要允許谷歌bot,那么也是在"User-agent: *"前面加上,而不是在"User-agent: *"后面.

    (5)禁止Spider訪問(wèn)特定目錄和特定文件(圖片、壓縮文件).

    User-agent: *

    Disallow: /

    Disallow: /admin/

    Disallow: .jpg$

    Disallow: .rar$

    這樣寫(xiě)之后,所有搜索引擎都不會(huì)訪問(wèn)這2個(gè)目錄.需要注意的是對(duì)每一個(gè)目錄必須分開(kāi)說(shuō)明,而不要寫(xiě)出"Disallow:/ /admin/".

    歡迎轉(zhuǎn)載【詳細(xì)的robots.txt學(xué)習(xí)方法】,請(qǐng)注明轉(zhuǎn)自:上海seo優(yōu)化公司 http://www.seo-999.com/article/6346s.html!