搜索引擎的基礎是有著很多網頁的信息數據庫系統，這是確定搜索引擎總體品質的關鍵指標值。假如搜索引擎的Web信息量較小，那樣供消費者挑選的百度搜索偏少；而很多的Web信息能夠更好的滿足用戶的檢索要求。

因為獲得很多的Web信息數據庫系統，搜索引擎務必搜集互聯網資源，文中的工作就是根據搜索引擎的Web網絡爬蟲，對Internet里的每一個Web網頁頁面開展信息的抓取和抓取。這是一個爬行和搜集信息的程序流程，一般被稱作蜘蛛或智能機器人。

雖然搜索引擎蜘蛛有不一樣的名字，但兩者的爬行和爬行標準基本一致：

（1）當搜索引擎抓取網頁時，會與此同時運作好幾個蜘蛛程序流程，依據搜索引擎詳細地址庫文件的網站訪問抓取網址。詳細地址庫文件的網站包含客戶遞交的網站、大中型導航臺的網站、手工制作收集的網站、蜘蛛抓取的最新網址等。

（2）搜索引擎蜘蛛在進到容許抓取的網址時，一般會采用深度優先、總寬優先選擇、相對高度優先選擇三種管理策略開展爬行和解析xml，以抓取更多的是網站內容。

深度優先爬行對策是搜索引擎蜘蛛在網頁中找到一個連接，往下爬行到下一個網頁的連接，往下爬行到該網頁里的另一個連接，直至并沒有未爬行的連接，隨后回到到個網頁，往下爬行到另一個鏈。

在里面的案例中，搜索引擎蜘蛛抵達網站主頁，尋找優質網頁A、B、C的連接并把其爬行出去，隨后先后爬行下優質網頁A1、A2、A3、B1、B2和B3，在爬行第二級網頁后，爬行第三級網頁A4、A5，A6，盡可能爬行全部網頁。

不錯優先爬行對策是按照一定的優化算法區劃網頁的重要程度，關鍵根據網頁排行、網址經營規模、響應時間等來分辨網頁的重要程度，搜索引擎爬行并獲得較強的優先。僅有當PageRank做到一定等級時，才可以對它進行爬網和抓取。當現實的蜘蛛抓取網頁時，它會將網頁的全部連接搜集到詳細地址數據庫系統中，并進行具體分析，隨后挑選PR較強的連接開展抓取。網址規模大，一般商業網站能從搜索引擎中取得更多的是信賴，并且商業網站更新頻率快，蜘蛛會先爬行。網址的響應時間都是危害蜘蛛爬行的一個關鍵因素。在不錯優先爬行對策中，網址響應時間快，能夠提升爬行器的工作效率，因而爬行器還會優先選擇對響應時間快的網址開展爬行。

這幾種爬行對策各有利弊。比如，深度優先一般挑選適合自己的深層，以防止掉入很多的數據中，進而限制了網頁頁面的捕獲量；總寬優先選擇伴隨著捕捉網頁頁面的提升，搜索引擎必須清除很多不相干的網頁頁面連接，爬行高效率會降低；不錯優先忽視了很多網站的網頁頁面，影響了互聯網技術信息多元化展現的發展趨勢，基本上進到知名網站的總流量，網站無法發展趨勢。

在搜索引擎蜘蛛的具體爬行中，這三種爬行對策一般一起應用。經由一段時間的爬行，搜索引擎蜘蛛能夠爬行互聯網技術里的全部網頁。但是，因為Internet的極大網絡資源和搜索引擎的不足網絡資源，一般只對Internet里的一部分網頁開展抓取。

蜘蛛抓取網頁后，對網頁的值是不是做到抓取規范完成檢測。當搜索引擎爬行到網頁時，它會分辨網頁里的信息是不是廢棄物信息，如很多反復的文本內容、錯碼、與涵蓋的具體內容相對高度反復等，這種廢棄物蜘蛛不容易抓取，他們僅僅爬行。

搜索引擎分辨網頁的意義后，將包括有價值的網頁。該收集全過程是由收集到的網頁信息儲存到信息數據庫系統中，依據一定的特性對網頁信息開展歸類，并且以URL為企業開展儲存。

搜索引擎的爬行和爬行是給予站內搜索的基本條件。伴隨著Web數據的很多發生，搜索引擎可以能夠更好地滿足用戶的查看市場需求。