輕松配置網(wǎng)站Robots.txt文件

在一個(gè)網(wǎng)站里，robots.txt是一個(gè)重要的文件，每個(gè)網(wǎng)站都應(yīng)當(dāng)有一個(gè)設(shè)置正確的robots.txt。
當(dāng)搜索引擎來(lái)抓取你的網(wǎng)站文件之前，它們會(huì)先來(lái)看看你網(wǎng)站的robots.txt文件的設(shè)置，以了解你所允許它抓取的范圍，包括哪些文件，哪些目錄。那么如何配置您的robots.txt文件呢？
讓我們看一個(gè)例子：
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file

有#號(hào)的都是注釋，方便閱讀。
User-agent就是搜索引擎的蜘蛛，后面用了*號(hào)，表示對(duì)所有的蜘蛛有效。
Disallow就是表示不允許抓取，后面的目錄或者文件，表示禁止抓取的范圍。

編輯好這個(gè)文件，然后保存在你的網(wǎng)站的根目錄下(一定是根目錄下，當(dāng)然你也可以調(diào)整)，那么搜索引擎就會(huì)來(lái)看的。
如果你沒(méi)有robots.txt文件，在你的網(wǎng)站訪問(wèn)日志文件里，你會(huì)看到蜘蛛訪問(wèn)robots.txt文件不成功的紀(jì)錄。
好了，現(xiàn)在就去設(shè)置你的robots.txt文件吧。