有一些根據seo的事物一直非常容易被忽視，例如Robots.txt文件。在seo優化的文章中數次提及了有關Robots.txt文件的重要性。seo優化的診斷方法之一是查驗文本文檔是不是制做，是不是規范化。以上文上述，假如搜索引擎蜘蛛被嚴禁進入網站的Robots.txt協議文檔，無論你如何優化它，它也不會被收錄以內。

Robots.txt協議文檔載入

如果您將Robots.txt協議文檔加入到您網址并設定嚴禁搜索引擎蜘蛛的表明，您網站內容將不易被爬行，但很有可能會被收錄（數據庫索引）。

有的人也許會出現疑惑，搜索引擎蜘蛛爬行網站網頁頁面，網頁頁面必須展現蜘蛛的具體內容意見反饋，才有很有可能被收錄。因此，假如具體內容被嚴禁，會被收錄以內嗎？那是什么意思？商企云在這里沒有表述這種情況。

為何Robots.txt協議文檔嚴禁以后會被搜索引擎蜘蛛收錄？

這兒有一個認知錯誤，也有可能是慣性力思維邏輯的不正確邏輯思維。每個人覺得蜘蛛不可以捕捉具體內容，也不要收錄在其中。實際上，爬行、爬取和數據庫索引是不一樣的理念。好多人在了解SEO時，常常搞混一些SEO的定義，致使后面的SEO提升情況下特性欠佳。

或是最先，Robots.txt協議文檔在做什么？因為它是一個協議，它務必是一個彼此都同意和接納的標準。這A和B當然是平臺和搜索引擎（或搜索引擎蜘蛛）中間的協議。Robots.txt協議文檔將被置放在主目錄中，蜘蛛會在次進入網站時瀏覽該文檔，隨后查詢協議中能否有一切網頁頁面沒法爬行，假如被嚴禁，則不容易再度爬行。

Robots.txt協議文檔的作用

如果一個網頁頁面要想被搜索引擎數據庫索引（包含），它應當被爬行器爬行和爬行。因為未對它進行爬網，因而將理所應當地不包含此頁。這種看法是不正確的，能夠數據庫索引而無須爬取。比如，淘寶網是一個典型性的實例，該網址添加了一個嚴禁協議，終被收錄。原因是百度搜索從別的渠道平臺強烈推薦的外鏈中掌握到這個網站。盡管嚴禁爬行，但能通過文章標題和推薦鏈接的信息分辨與此頁面相對應的具體內容信息內容。