什么是Robots協(xié)議？
分享
評論
贊3
1Robots.txt存儲位置？
Robots文件必須換在網(wǎng)站的根目錄下，因為搜索引擎抓取網(wǎng)頁是從根目錄開始，而蜘蛛抓取網(wǎng)站內容時會先檢測Robots文件，按照Robots文件的規(guī)則去抓取網(wǎng)站內容（即要查看其它網(wǎng)站的Robots文件可以直接輸入“域名/robots.txt”就能看到具體內容）。
2Robots與Nofollow的區(qū)別？
Robots與Nofollow的本質區(qū)別在于Nofollow只是在當前網(wǎng)頁禁止蜘蛛跟蹤超鏈接，而蜘蛛可能會通過其它路徑抓取到被Nofollow的網(wǎng)頁。而Robots是禁止搜索引擎索引Disallow的網(wǎng)頁。也就是說在搜索引擎可以搜索到Nofollow掉的網(wǎng)頁，但是搜索不到Robots Disallow的網(wǎng)頁。
3Robots的語法規(guī)則？
Sitemap指定網(wǎng)站地圖的路徑（即Sitemap: http://www.lincox.cn/sitemap.xml）。User-agent指定具體的搜索引擎蜘蛛（User-agent: *，代表所有搜索引擎、User-agent: Baiduspider指定百度搜索引擎蜘蛛、User-agent:Googlebot指定谷歌搜索引擎蜘蛛）。Allow:是允許抓取的路徑，Disallow:是禁止抓取的路徑。可以使用通配符：Disallow: /*.css$禁止蜘蛛爬取所有css文件（具體可以查看本站的Robots文件）。
4Robots的運用？
通過Robots禁止網(wǎng)站后臺登入地址被搜索引擎收錄，避免黑客使用搜索引擎的inulr命令找到網(wǎng)站后臺的登入地址，以提高網(wǎng)站的安全性。同時也可以禁止蜘蛛抓取容量較大的文件，以提高網(wǎng)站的訪問速度
猜你喜歡
評論(0人參與，0條評論)
發(fā)布評論
最新評論