如何創建 robots.txt 文件？
您可以在任何文本編輯器中創建此文件。該文件應為 ASCII 編碼的文本文件，而非 HTML 文件。文件名應使用小寫字母。

最簡單的 robots.txt 文件使用兩條規則：
(1)User-Agent: 適用下列規則的漫游器
(2)Disallow: 要攔截的網頁
這兩行被視為文件中的一個條目。您可根據需要包含任意多個條目。您可在一個條目中包含多個 Disallow 行和多個
User-Agent。

應在 User-Agent 行中列出什么內容？
user-agent 是特定的搜索引擎漫游器。網絡漫游器數據庫列出了許多常用漫游器。您可設置應用于特定漫游器的條目
（通過列示名稱）或設置為應用于所有漫游器（通過列示星號）。應用于所有漫游器的條目應與下列條目類似：

User-Agent:*
Google 使用多種不同漫游器（用戶代理）。用于網絡搜索的漫游器是 Googlebot。Googlebot-Mobile 和 Googlebot-
Image 等其他漫游器遵循您為 Googlebot 設置的規則，您還可為這些特定漫游器設置附加規則。

應在 Disallow 行中列出什么內容？
Disallow 行列出了您要攔截的網頁。您可列出具體網址或網址模式。條目應以正斜杠開頭 (/) 開頭。

要攔截整個網站，請使用正斜扛。

Disallow:/
要攔截目錄及其中的所有內容，請在目錄名后添加正斜扛。

Disallow:/private_directory/
要攔截網頁，請列出該網頁。

Disallow:/private_file.html
網址區分大小寫。