模擬蜘蛛爬行檢查死鏈

　　隨著網站內容的不斷增加，免不了會有一些鏈接失效，此稱為死鏈接。死鏈接的危害是很大的，會讓人對你網站的管理失去信心，從而失去一部分訪客。但要手工一條一條檢查，簡直是天方夜譚!www.DeadLinks.com 十個不錯的死鏈檢查工具，1分鐘之內就能檢查你整個網站所有的鏈接情況。

在網址輸入框中輸入您的網站或博客主頁地址，則小蜘蛛會讀你的HTML代碼，并檢查損壞的鏈接。同時蜘蛛則會分裂成兩類鏈接，內部(同一個主機上)和外部(將外部的鏈接到不同的網域)。一旦放入你的入口網址，蜘蛛將訪問您的網站和并且檢查所有鏈接的狀態。當完成，您會看到一個報告顯示，不僅僅包括404的狀態，還包括發現的所有死鏈接。

注：蜘蛛不能抓取框架內的鏈接或javascript或Flash內的鏈接 。

常見問題解答:

什么是蜘蛛的用戶代理?

蜘蛛的用戶代理是： “網上鏈接校驗( http://www.dead-links.com/ )

蜘蛛的IP地址是什么?

蜘蛛的IP地址是216.93.174.12 。

我怎樣才能確認蜘蛛留在我服務器上的日志文件?

根據任何2條日志信息，您可以確認蜘蛛已訪問過您的服務器。

在抓取大量的網頁時，是否有什么限制?

蜘蛛有這樣一個限制，每個域25頁和150外部文件，最高執行時間為15分鐘。

如果蜘蛛在訪問期間發現一個鏈接指向http://www.dead-links.com，同一個域頁數限制增加至150個，和外部的網址增加到500 ，同時也增加了執行時間。

蜘蛛是否也遵守robots.txt協議?

我們正在研發中，該議定書是尚未確定。

我可以攔截蜘蛛訪問我的網站嗎?

是的，無論是阻止用戶代理或蜘蛛的IP地址，您都可以這樣做。

什么是mime類型?

訪問信息： MIME類型。

.

什么是網址是什么?和查詢字串?

訪問：資訊的網址和查詢字符串。

蜘蛛是否認識frame， Javascrip， Java語言，影像地圖中的鏈接嗎?

現在，機器人并不承認這種鏈接或重定向：

•frames內的鏈接

• javascript中的鏈接

• Java applets的內部鏈接

•Flash對象的內部鏈接

• iframes中的內部鏈接

•影像地圖的內部鏈接

•使用重定向元刷新標記

在您的搜索引擎排名，這些情況產生的負面影響，這是很重要的。

所以，如果蜘蛛在抓取您的網站是沒有任何問題，說明您的網站，搜索引擎優化的非常好。

蜘蛛報告說，我的網站中有0個鏈接，是怎么回事呢?

原因可能是您所使用了上述的哪種技術或鏈接。

是否有任何教程，以優化我的網站搜尋引擎?

是的，請訪問：搜索引擎的指引。

在第一個字段中放入你的鏈接(指向您網站的鏈接) 。

第二，在文本框中輸入您需要做鏈接分析的網站鏈接清單。蜘蛛不需要您的鏈接伙伴的HTML代碼就可以一個又一個抓取指向你網站的鏈接。

那您就必須置入確切可以找到的鏈接地址。

蜘蛛不能訪問置于frames，javascript ， Flash或服務器腳本中的鏈接。

來源:廈門搜索引擎優化(SEO)觀察室