<em id="l4gxk"><noframes id="l4gxk">

<em id="l4gxk"></em>
      
      

         手機(jī)版 微信公眾號(hào) 新浪微博 友情鏈接
        當(dāng)前位置: 網(wǎng)站首頁(yè) > 網(wǎng)站運(yùn)營(yíng) > 搜索優(yōu)化 > 文章 當(dāng)前位置: 搜索優(yōu)化 > 文章

        搜索引擎統(tǒng)一Robots文件標(biāo)準(zhǔn)

        時(shí)間:2010-04-02    點(diǎn)擊: 次    來(lái)源:互聯(lián)網(wǎng)    作者:佚名 - 小 + 大

        搜索引擎三巨頭打的不亦樂(lè)乎,但偶爾也合作一下。去年Google,雅虎,微軟就合作,共同遵守統(tǒng)一的Sitemaps標(biāo)準(zhǔn)。前兩天三巨頭又同時(shí)宣布,共同遵守的robots.txt文件標(biāo)準(zhǔn)。Google,雅虎,微軟各自在自己的官方博客上發(fā)了一篇帖子,公布三家都支持的robots.txt文件及Meta標(biāo)簽的標(biāo)準(zhǔn),以及一些各自特有的標(biāo)準(zhǔn)。下面做一個(gè)總結(jié)。

        三家都支持的robots文件記錄包括:

        Disallow - 告訴蜘蛛不要抓取某些文件或目錄。如下面代碼將阻止蜘蛛抓取所有的網(wǎng)站文件:

        User-agent: *
        Disallow: /

        Allow - 告訴蜘蛛應(yīng)該抓取某些文件。Allow和Disallow配合使用,可以告訴蜘蛛某個(gè)目錄下,大部分都不抓取,只抓取一部分。如下面代碼將使蜘蛛不抓取ab目錄下其他文件,而只抓取其中cd下的文件:

        User-agent: *
        Disallow: /ab/
        Allow: /ab/cd

        $通配符 - 匹配URL結(jié)尾的字符。如下面代碼將允許蜘蛛訪問(wèn)以.htm為后綴的URL:

        User-agent: *
        Allow: .htm$

        *通配符 - 告訴蜘蛛匹配任意一段字符。如下面一段代碼將禁止蜘蛛抓取所有htm文件:

        User-agent: *
        Disallow: /*.htm

        Sitemaps位置 - 告訴蜘蛛你的網(wǎng)站地圖在哪里,格式為:

        Sitemap:

        三家都支持的Meta標(biāo)簽包括:

        NOINDEX - 告訴蜘蛛不要索引某個(gè)網(wǎng)頁(yè)。

        NOFOLLOW - 告訴蜘蛛不要跟蹤網(wǎng)頁(yè)上的鏈接。

        NOSNIPPET - 告訴蜘蛛不要在搜索結(jié)果中顯示說(shuō)明文字。

        NOARCHIVE - 告訴蜘蛛不要顯示快照。

        NOODP - 告訴蜘蛛不要使用開放目錄中的標(biāo)題和說(shuō)明。

        上面這些記錄或標(biāo)簽,現(xiàn)在三家都共同支持。其中通配符好像以前雅虎微軟并不支持。百度現(xiàn)在也支持Disallow,Allow及兩種通配符。Meta標(biāo)簽我沒(méi)有找到百度是否支持的官方說(shuō)明。

        只有Google支持的Meta標(biāo)簽有:

        UNAVAILABLE_AFTER - 告訴蜘蛛網(wǎng)頁(yè)什么時(shí)候過(guò)期。在這個(gè)日期之后,不應(yīng)該再出現(xiàn)在搜索結(jié)果中。

        NOIMAGEINDEX - 告訴蜘蛛不要索引頁(yè)面上的圖片。

        NOTRANSLATE - 告訴蜘蛛不要翻譯頁(yè)面內(nèi)容。

        雅虎還支持Meta標(biāo)簽:

        Crawl-Delay - 允許蜘蛛延時(shí)抓取的頻率。

        NOYDIR - 和NOODP標(biāo)簽相似,但是指雅虎目錄,而不是開放目錄。

        Robots-nocontent - 告訴蜘蛛被標(biāo)注的部分html不是網(wǎng)頁(yè)內(nèi)容的一部分,或者換個(gè)角度,告訴蜘蛛哪些部分是頁(yè)面的主要內(nèi)容(想被檢索的內(nèi)容)。

        MSN還支持Meta標(biāo)簽:

        Crawl-Delay

        另外提醒大家注意的是,robots.txt文件可以不存在,返回404錯(cuò)誤,意味著允許蜘蛛抓取所有內(nèi)容。但抓取robots.txt文件時(shí)卻發(fā)生超時(shí)之類的錯(cuò)誤,可能導(dǎo)致搜索引擎不收錄網(wǎng)站,因?yàn)橹┲氩恢纑obots.txt文件是否存在或者里面有什么內(nèi)容,這與確認(rèn)文件不存在是不一樣的。


        作者: Zac@SEO每天一貼

        上一篇:網(wǎng)站優(yōu)化中關(guān)于關(guān)鍵詞的權(quán)重

        下一篇:究竟什么是SEO?——寫給建站新手

      1. Copyright © 2009—2025 ,www.julong-ads.com,All Rights Reserved. |  黔ICP備2023009491號(hào)-1  |  貴公網(wǎng)安備52010302003427號(hào)
      2. 關(guān)于本站  |  網(wǎng)站聲明  |  網(wǎng)站導(dǎo)航  |  留言交流  |  友情鏈接  |  祝福頻道  |  微信公眾號(hào)  |  新浪微博  |  我的大學(xué)  |  我的高中  |  簡(jiǎn)歷2009
      3. 版權(quán)聲明:凡注明本站原創(chuàng)文章、作品,未經(jīng)本人許可,任何人或機(jī)構(gòu)不得以任何形式對(duì)本站內(nèi)容進(jìn)行復(fù)制作商業(yè)用途.
      4. 本站部分文章、資源來(lái)自互聯(lián)網(wǎng),版權(quán)歸原作者及網(wǎng)站所有,如果侵犯了您的權(quán)利,請(qǐng)及時(shí)致信告知我站.
      5. 地址:中國(guó)·貴州·貴陽(yáng)  郵編:550018   微信公眾號(hào):WEBZZQ  郵箱:admin@zouzhiqiang.com
      6. QQ:470870191 歡迎各位站長(zhǎng)加入個(gè)人網(wǎng)站交流討論QQ群: 15410235
      7. 訪問(wèn)統(tǒng)計(jì):
      8. 亚洲中文精品久久久久久不卡| 精品久久久久久国产91| 精品国产热久久久福利| 久久狠狠一本精品综合网| 亚洲国产成人久久综合区| 久久婷婷五月综合97色| 久久91精品综合国产首页| 久久国产欧美日韩精品免费| 久久亚洲精品人成综合网| 国产99久久久国产精品~~牛| 四虎久久影院| 99久久成人国产精品免费| 久久久久国色AV免费看图片| 亚洲精品tv久久久久久久久| 青青青伊人色综合久久| 亚洲国产精品无码久久一区二区| 国产精品视频久久久| 久久精品国产色蜜蜜麻豆| 久久久久18| 一级做a爰片久久毛片16| 久久精品欧美日韩精品| 亚洲国产成人久久精品99| 国产高潮国产高潮久久久91| 亚洲乱码中文字幕久久孕妇黑人| 久久激情五月丁香伊人| 51久久夜色精品国产| 国产精品禁18久久久夂久| 中文精品久久久久人妻不卡| 亚洲欧美一区二区三区久久| 国内精品久久久久久久coent| 国产精品9999久久久久| 精品国产VA久久久久久久冰| 少妇精品久久久一区二区三区 | 亚洲人成无码久久电影网站| 狠狠久久综合| 国产高潮国产高潮久久久91 | 精品国产乱码久久久久久呢| 久久久久久免费视频| 四虎国产精品成人免费久久| 99精品国产免费久久久久久下载| 一本色道久久88综合日韩精品 |