使用Flash

　　Google幾年前就開(kāi)始嘗試抓取Flash內(nèi)容了，簡(jiǎn)單文字性內(nèi)容已經(jīng)能抓取。Flash里面的鏈接也能被跟蹤。

　　表格

　　Google蜘蛛也能填表，也能抓取POST請(qǐng)求頁(yè)面。這個(gè)早就能從日志中看到。

　　JS/Ajax

　　使用JS鏈接一直以來(lái)被當(dāng)作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但兩三年前我就看到JS鏈接不能阻止Google蜘蛛抓取，不僅JS中出現(xiàn)的URL會(huì)被爬，簡(jiǎn)單的JS還能被執(zhí)行找到更多URL。

　　前幾天有人發(fā)現(xiàn)很多網(wǎng)站使用的Facebook評(píng)論插件里的評(píng)論被爬、被收錄，插件本身是個(gè)AJAX。這是個(gè)好消息。我的一個(gè)實(shí)驗(yàn)電子商務(wù)網(wǎng)站產(chǎn)品 評(píng)論功能就因?yàn)檫@個(gè)費(fèi)了不少心思，用Facebook comments插件好處大大的，具體什么好處以后有時(shí)間再說(shuō)，唯一的問(wèn)題就是評(píng)論是AJAX實(shí)現(xiàn)的，不能被抓取，而產(chǎn)品評(píng)論被收錄是目的之一(產(chǎn)生原創(chuàng) 內(nèi)容)。我當(dāng)時(shí)想了半天也沒(méi)有解決方法，只好先傻傻地既放上Facebook comments插件又打開(kāi)購(gòu)物車本身的評(píng)論功能。現(xiàn)在好了，F(xiàn)acebook comments里的評(píng)論能被收錄，就不用兩套評(píng)論功能了。

　　Robots文件

　　目前唯一確保內(nèi)容不被收錄的方法是robots文件禁止。但也有個(gè)壞處，會(huì)流失權(quán)重，雖然內(nèi)容是不能收錄了，但頁(yè)面成了只接受鏈接權(quán)重、不流出權(quán)重的無(wú)底洞。

　　Nofollow

　　Nofollow并不能保證不被收錄。就算自己網(wǎng)站所有指向頁(yè)面的鏈接都加了NF，也不能保證別人網(wǎng)站不給這個(gè)頁(yè)面弄個(gè)鏈接，搜索引擎還是能發(fā)現(xiàn)這個(gè)頁(yè)面。

　　怎樣使頁(yè)面不被收錄是個(gè)值得思考的問(wèn)題，沒(méi)意識(shí)到嚴(yán)重性的童鞋可以想想自己網(wǎng)站上有多少?gòu)?fù)制內(nèi)容、低質(zhì)量?jī)?nèi)容、各種無(wú)搜索價(jià)值(但用戶覺(jué)得方便、有用所以又不能拿掉)的分類、過(guò)濾URL。