robots文件是用來告訴搜索引擎：這個網(wǎng)站上哪些部分可以被訪問、哪些不可以，robots文件是存放在網(wǎng)站根目錄下的一個純文本文件。當(dāng)搜索引擎訪問一個網(wǎng)站時，它首先會檢查該網(wǎng)站根目錄下是否存在robots文件。robots文件必須放置在一個網(wǎng)站的根目錄下，而且文件名必須全部小寫。

　　我們做的網(wǎng)站肯定希望被收錄，因為網(wǎng)站流量的一部分或者是大部分都是來自搜索，所以對網(wǎng)站來說是很重要的。問題是：我們有的網(wǎng)站內(nèi)容不希望杯搜索到，那么怎么辦呢?在這種情況下，我們就有必要會用到robots文件，來與搜索引擎溝通。所有的搜索引擎蜘蛛自動在網(wǎng)站根目錄中尋找這個文件，所以你只需創(chuàng)建它并上傳，然后等待蜘蛛來閱讀。

　　1、允許所有搜索引擎訪問

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow: /

　　在這里大家要注意下，可以最直接的建一個空文件 “robots.txt”然后放到網(wǎng)站的根目錄。

　　2、禁止所有搜索引擎訪問

　　User-agent: *

　　Disallow: /

　　或者

　　User-agent: *

　　allow:

　　3、禁止所有搜索引擎訪問網(wǎng)站中的幾個部分，在這里我用a、b、c目錄來代替

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　Disallow: /c/

　　如果是允許，則是

　　Allow: /a/

　　Allow: /b/

　　Allow: /c/

　　4、禁止某個搜索引擎的訪問，我用w來代替

　　User-agent: w

　　Disallow: /

　　或

　　User-agent: w

　　Disallow: /d/*.htm

　　在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。

　　5、只允許某個搜索引擎的訪問，我用e來代替

　　User-agent: e

　　Disallow:

　　在Disallow：后面不加任何東西，意思是僅允許e訪問該網(wǎng)站。

　　6、使用”$”限制訪問url

　　User-agent: *

　　Allow: .htm$

　　Disallow: /

　　意思是僅允許訪問以”.htm”為后綴的URL

　　7、禁止訪問網(wǎng)站中所有的動態(tài)頁面

　　User-agent: *

　　Disallow: /*?*

　　8、禁止搜索引擎F抓取網(wǎng)站上所有圖片

　　User-agent: F

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　意思是只允許引擎抓取網(wǎng)頁，禁止抓取任何圖片(嚴(yán)格來說，是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。)

　　9、只允許搜索引擎E抓取網(wǎng)頁和.gif格式圖片

　　User-agent: E

　　Allow: .gif$

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .png$

　　Disallow: .bmp$

　　意思是只允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片

　　END

　　注意事項

　　絕大多數(shù)的搜索引擎機(jī)器人都遵守robots文件的規(guī)則，關(guān)于怎么寫robots文件的方法，大致就是這些了。要提醒大家的是：robots.txt文件一定要寫對，如果不太會寫，還是要先了解再寫，以免給網(wǎng)站的收錄帶來麻煩。