優化電商網站的抓取預算，可能會影響谷歌的網絡爬蟲訪問制定頁面的頻率，這也意味著更新內容會更快地出現在谷歌搜索結果中。對于谷歌來說，抓取預算也就是該公司的搜索引擎爬蟲Googlebot能夠并想要抓取的指定站點上的頁面數量。Googlebot在業內也稱為谷歌機器人或探測器，被用來抓取網站內容，然后再將其編入到索引數據庫中。

需要注意的是，Googlebot抓取網站頁面的頻率并不影響該頁面在指定搜索查詢中的排名。但優化抓取預算可能會引導Googlebot發現網站上較為重要的內容。反過來，這可能會影響其中一些頁面的排名，尤其是在沒有索引的情況下。

2017年，谷歌的研究人員Gary Illyes描述了谷歌是如何決定一個指定網站的抓取預算的，即包含三個部分：抓取限制、抓取需求和其他因素。

抓取限制——為了不降低用戶訪問網站的體驗，谷歌限制了指定網站的最大抓取頻率，如果有跡象表明Googlebot正在影響網站的性能，它就會放慢抓取速度，減少訪問網站頁面的頻率。這可能意味著有些頁面根本沒有索引，相反，如果Googlebot得到服務器的快速響應，它可能會增加訪問的頻率和強度。

抓取需求——即使抓取速度沒有受到限制，如果沒有索引的需求，Googlebot的活躍程度也會降低。索引需求可以采取兩種形式，對于流行的網站而言，谷歌會想要確保它已經索引到了最新的內容。

其次，谷歌不希望索引陳舊。因此如果Googlebot訪問一個站點已經有一段時間了，即使它不受歡迎，也會有相對較大的抓取需求。

其他因素——內容質量和網站結構也很重要。建議避免低質量的內容、某些類型的分面導航、重復或類似的內容。低質量的頁面將會消耗抓取預算的很大一部分，這將搶占網站上的有價值的頁面抓取活動。

如何優化抓取預算？

用于優化抓取預算的方法也有助于搜索引擎的優化。以下是五個技巧，可以幫助你的電商網站優化爬行預算。即使你的網站沒有抓取預算問題，這些方法也同樣有利于seo。

1、優先考慮Googlebot抓取的內容。讓Googlebot屏蔽網站的部分內容，例如一些政策頁面、感謝頁面、廣告著陸頁等等。反之，盡可能的增加包含在谷歌索引中的產品頁面數量。因此，使用robots.txt和nofollow指令可能對爬行預算優化大有幫助。

2、確保擁有一個優秀的網站地圖。網站地圖是谷歌發現URL的主要方式之一。雖然不能保證谷歌會抓取或索引指定的頁面，但是網站地圖可以為你提供幫助。你的網站地圖應該是一致的，對于大型網站而言則應該是動態的。

3、減少錯誤和重定向鏈。當Googlebot訪問網站上的一個頁面時，會收到一個狀態碼200（意思是一切正常）或者一個永久重定向碼301。但是要確保一個重定向不會導致鏈中的另一個重定向。

4、提高網站性能。如果谷歌機器人密集地抓取服務器，則說明其效率正在下降，那么它的速度就會減慢，在這種情況下，在指定時間內抓取的URL數量肯定會減少，因此提高網站性能與爬行預算優化密不可分。

5、保持更新。應該定期更新和整理，為產品細節頁面、博客文章和陳舊的內容增加新內容。

（編譯/雨果網 宋淑湲）

【特別聲明】未經許可同意，任何個人或組織不得復制、轉載、或以其他方式使用本網站內容。轉載請聯系：editor@cifnews.com