<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    robots文件

    作者:seo戰(zhàn)神 瀏覽:1925 發(fā)布時(shí)間:2018-10-23
    編輯 分享 評(píng)論 0

      robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí),它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt,如果存在,搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。

      搜索引擎通過(guò)一種程序robot(又稱spider),自動(dòng)訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt,在這個(gè)文件中聲明該網(wǎng)站中不想被robot訪問(wèn)的部分,這樣,該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了,或者指定搜索引擎只收錄指定的內(nèi)容。robots.txt(統(tǒng)一小寫(xiě))是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件,它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛),此網(wǎng)站中的哪些內(nèi)容是不能被搜索引擎的漫游器獲取的,哪些是可以被(漫游器)獲取的。 因?yàn)橐恍┫到y(tǒng)中的URL是大小寫(xiě)敏感的,所以robots.txt的文件名應(yīng)統(tǒng)一為小寫(xiě)。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。如果想單獨(dú)定義搜索引擎的漫游器訪問(wèn)子目錄時(shí)的行為,那么可以將自定的設(shè)置合并到根目錄下的robots.txt,或者使用robots元數(shù)據(jù)。Robots.txt協(xié)議并不是一個(gè)規(guī)范,而只是約定俗成的,所以并不能保證網(wǎng)站的隱私。注意Robots.txt是用字符串比較來(lái)確定是否獲取URL,所以目錄末尾有和沒(méi)有斜杠“/”這兩種表示是不同的URL,也不能用"Disallow: *.gif"這樣的通配符。其他的影響搜索引擎的行為的方法包括使用robots元數(shù)據(jù): 這個(gè)協(xié)議也不是一個(gè)規(guī)范,而只是約定俗成的,通常搜索引擎會(huì)識(shí)別這個(gè)元數(shù)據(jù),不索引這個(gè)頁(yè)面,以及這個(gè)頁(yè)面的鏈出頁(yè)面robots.txt文件放在哪里?robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來(lái)說(shuō),當(dāng)robots訪問(wèn)一個(gè)網(wǎng)站時(shí),首先會(huì)檢查該網(wǎng)站中是否存在這個(gè)文件,如果機(jī)器人找到這個(gè)文件,它就會(huì)根據(jù)這個(gè)文件的內(nèi)容,來(lái)確定它訪問(wèn)權(quán)限的范圍。


    評(píng)論(0人參與,0條評(píng)論)

    發(fā)布評(píng)論

    最新評(píng)論

    詞條統(tǒng)計(jì)

  • 瀏覽次數(shù):1925
  • 編輯次數(shù):1次歷史版本
  • 最近更新:2018-10-23
  • 創(chuàng)建者:seo戰(zhàn)神
  • 相關(guān)詞條

    相關(guān)問(wèn)答

    相關(guān)百科

    相關(guān)資訊

    AV成人午夜无码一区二区| 黑人无码精品又粗又大又长| 久久久久亚洲av成人无码电影| 最近免费中文字幕大全免费版视频 | 无码播放一区二区三区| 日韩精选无码| 人妻少妇偷人精品无码| 人妻少妇AV无码一区二区| 少妇中文字幕乱码亚洲影视 | 亚洲av无码不卡私人影院 | 日韩AV无码不卡网站| 亚洲AV无码AV男人的天堂| 人妻丰满av无码中文字幕| 国模GOGO无码人体啪啪| 亚洲精品无码高潮喷水在线| 无码毛片一区二区三区中文字幕| 狠狠躁天天躁中文字幕无码| 超清无码无卡中文字幕| 无码人妻精品一区二区三区99仓本| 最近中文2019字幕第二页| 最近中文字幕免费mv在线视频| 久久久人妻精品无码一区| 精品成在人线AV无码免费看| 午夜亚洲AV日韩AV无码大全| 亚洲精品无码久久久久| 亚洲国产精品成人精品无码区| 四虎影视无码永久免费| 狠狠精品久久久无码中文字幕| 日韩AV无码中文无码不卡电影| 免费无码AV一区二区| 成人无码小视频在线观看| 国产精品无码日韩欧| 午夜亚洲AV日韩AV无码大全| 亚洲精品无码久久一线| 亚洲欧洲日产国码无码网站| 中文无码伦av中文字幕| 亚洲一区精品无码| 无码精品人妻一区二区三区免费看 | 亚洲精品无码午夜福利中文字幕| 成人午夜亚洲精品无码网站 | 无码成A毛片免费|