今天遇到一個(gè)自稱做了3年seo的人來公司面試,態(tài)度十分傲慢.在和他的交談當(dāng)中,提到了一個(gè)話題:到底該不該做.在他看來 用處不大,他以前優(yōu)化的電商網(wǎng)站都沒寫,而我想說的是:文件是必須的.我不知道為什么做了3年seo的人會(huì)說沒什么大用處,還說沒有其他外部鏈接蜘蛛就不會(huì)抓取到這些頁面,沒必要用屏蔽.要是真的這樣,為什么蜘蛛到了一個(gè)網(wǎng)站會(huì)首先看這個(gè)網(wǎng)站的文件?文件沒有任何外部鏈接,仍能被蜘蛛爬取到?并且網(wǎng)站的源代碼里面肯定會(huì)有 css、js、網(wǎng)站后臺(tái)、圖片等鏈接那么這些文件都不用屏蔽?

    OK,如果不寫也能做好seo,我承認(rèn),的確是,但是做為seo入門的基礎(chǔ)知識(shí),是我們每個(gè)seoer應(yīng)該注重的.seo做的就是細(xì)節(jié),如果這個(gè)細(xì)節(jié)你不注意、那個(gè)細(xì)節(jié)也不注意,不注意的細(xì)節(jié)多了,你怎么能做好seo?

    無論是百度也好、谷歌也好,他們的seo手冊里都寫到:

    搜索引擎使用spider程序自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息.spider在訪問一個(gè)網(wǎng)站時(shí),會(huì)首先會(huì) 檢查該網(wǎng)站的根域下是否有一個(gè)叫做 的純文本文件,這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍.您可以在您的網(wǎng)站中創(chuàng)建一個(gè),在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分.

    的使用其實(shí)是seo的高級(jí)運(yùn)用,在一些行業(yè)網(wǎng)站上尤為明顯,行業(yè)網(wǎng)站頁面過多,無用的頁面也有很多,所以必須使用屏蔽無用頁面,提升蜘蛛的爬取效率,這是seo的高級(jí)策略.

    所以,文件確實(shí)是有用的,并不像有些人說的那么不重要,有些人雖然做了幾年的seo,但是現(xiàn)在還想用以前的思路來做優(yōu)化,顯然 是不可取的,搜索引擎的技術(shù)在飛速提升,zac說過,谷歌在幾年前就能抓取js里面的鏈接了,并且能傳遞權(quán)重,你還認(rèn)為js不能被搜索引擎識(shí)別嗎?

    搜索引擎的技術(shù)正在一步一步的完善,如果我們seo技術(shù)不能與時(shí)俱進(jìn),那就只能被淘汰!