網(wǎng)站的優(yōu)化是一個(gè)系統(tǒng)工程，有很多東西都必須實(shí)驗(yàn)研究和總結(jié)。對(duì)于一些稍大規(guī)模的網(wǎng)站，一些簡(jiǎn)單的seo細(xì)節(jié)就能對(duì)整體產(chǎn)生影響，有時(shí)也會(huì)直接影響網(wǎng)站的收錄、轉(zhuǎn)化甚至盈利。所以對(duì)于上規(guī)模的網(wǎng)站而言，一些seo細(xì)節(jié)是不得不提，不得不重視的。今天和大家總結(jié)關(guān)于robots的幾點(diǎn)知識(shí)，希望能讓大家受益。

    robots文件的使用很多站長(zhǎng)都熟悉，但在細(xì)節(jié)上未必在意，也未必精通。它包含的許多知識(shí)點(diǎn)搜索引擎并沒(méi)有給出詳盡的說(shuō)明或者使用方法。在經(jīng)過(guò)大量總結(jié)和參看資料的基礎(chǔ)上，本文和大家總結(jié)操作robots文件時(shí)應(yīng)該注意的細(xì)節(jié)。

    第一、user-agent的數(shù)量

    一般網(wǎng)站的文件中不要出現(xiàn)多個(gè)user-agent記錄，一般都是一個(gè)為宜，但是如果一個(gè)都不出現(xiàn)，也是被允許的。

    第二、spider蜘蛛大小寫

    搜索引擎蜘蛛在查看robots的時(shí)候會(huì)忽略大小寫，但是為了保險(xiǎn)，也有網(wǎng)站分別寫了兩個(gè)不同的百度蜘蛛，比如淘寶。

    第三、allow與disallow順序

    順序的問(wèn)題會(huì)導(dǎo)致抓取的錯(cuò)誤，如果把a(bǔ)llow放置后邊，有時(shí)候就會(huì)出現(xiàn)想要收錄的內(nèi)容不被收錄，舉例說(shuō)明：

    想要搜索引擎唯一收錄a文件夾下的，那么則要這么寫：

    Allow:/a/

    Disallow:/a/

    如果順序?qū)懛矗谝粋€(gè)匹配成功之后，就不會(huì)被收錄。

    第四、記得反斜杠

    反斜杠代表的意思是根目錄，所以Disallow:/代筆的意思就是禁止收錄一切頁(yè)面和文件夾的內(nèi)容。這個(gè)反斜杠很重要，少了反斜杠就代表允許搜索引擎收錄全部頁(yè)面。

    第五、#表示注釋

    在中，#開頭均被視為注釋，這和unix中的慣例是一樣的。不要一不小心把通配符寫錯(cuò)了。

    第六、不要出現(xiàn)空格

    有些robots文件中前邊會(huì)不注意加一個(gè)空格，這樣的問(wèn)題應(yīng)該盡量避免，否則一些機(jī)器人就不理解意思。

    好了，篇幅有限，本文就先寫這六個(gè)方面吧，下文還有目錄大小寫、meta累加取值、采納限制性最強(qiáng)的參數(shù)等方面的介紹，都是十分有用處的細(xì)節(jié)，雖然優(yōu)化的主要方向，但是它確實(shí)必需重視的一個(gè)方向，如果寫的有問(wèn)題，對(duì)整個(gè)網(wǎng)站的收錄都會(huì)造成影響。我們不應(yīng)該隨波逐流，別人怎么寫我們就怎么寫。而是理解其中的含義，寫出符合自己網(wǎng)站的robots文件。