從搜索引擎的視角看來，互聯網技術里的網頁關鍵分成四類，即被抓取的網頁、被抓取的具體內容、可抓取的網頁和暗網網站。

四類網頁，了解網頁歸類

說白了，爬網網頁是搜索引擎蜘蛛早已爬網的網頁具體內容。要爬網的網頁并未爬網，但已進到等候目錄。爬取是一個并未被發現但早已存在著網頁。暗網網站是一個網頁，搜索引擎沒法根據自爬網找到一個連接，必須手動式遞交。

平常大家研究的頁面抓取關鍵是是非非黑互聯網里的頁面抓取。每一個搜索引擎在黑夜的互聯網抓取都是有自身獨特的優化算法。大家不做過多剖析。

搜索引擎百度收錄有二種關鍵策略，即深度廣度優先選擇策略和深度優先策略。

大部分網頁除開有自身的連接外，還有許多連接，如相關信息、有關實例和其它詳細資料頁面的連接。當一個搜索引擎瀏覽一個頁面時，頁面里的全部連接都將被儲存并按順序排列，隨后解析xml并抓取發覺的頁面，隨后將發現的URL放進儲存并按此邏輯性排序等候抓取，抓取是深度優先選擇的策略。使我們用圖片和文字來認識自己。

從搜索引擎視角剖析網頁搜索引擎蜘蛛抓取具體內容的類型與全過程

依據頁面的一個網頁鏈接，我們能逐級抓取它，直至抵達連接的結尾，隨后回到到原始部位，以相同的方法抓取其他的連接，這也是深度優先的策略。

不論是深度廣度優先選擇或是深度優先，搜索引擎只需有足夠的時間就能夠捕捉每一個頁面，但搜索引擎的抓取動能是優先選擇的，這無法確保抓取頁面的整體性。因為搜索引擎遭受本身網絡資源的限定，他們不能忽視獲得頁面優先的難題。也有此外二種爭奪策略。

分辨網頁的重要性，搜索引擎關鍵從本身的品質和權重值來分辨。另一個關鍵因素是添加超鏈接的總數。比如，首頁的添加連接務必從頁碼逐漸，因而首頁的優先相對性比較高。

很明顯，知名網站的所有權是一組搜索者對知名網站有喜好，而且他們自己的權重值相對性比較高。這兒的不但取決于PR，還取決于信賴。并非說人的力量非常大，并且權重值也非常高，搜索引擎很喜歡。許多B2B企業網站的信息量非常大，可是搜索引擎不擅長抓取頁面具體內容，相對而言，一些比較好的網站能夠有不錯的自覺性，因此新聞報道能夠提升自覺性，并且在發送至大型網站的首頁時也能夠完成二次接受。

總而言之，搜索引擎的網絡資源是有局限的。在搜索引擎網絡資源比較有限的前提下，我們應該盡量借助外鏈來正確引導搜索引擎蜘蛛，增強企業網站的權重值，這是seo搜索引擎提升長期性運行時很重要的事情。