抓取頻次是百度搜索引擎下的一個百度蜘蛛程序,是用來按天抓取網站的優質頁面和內容,圖片等,使用戶能在搜索引擎里快速找到你網站的內容,那么百度蜘蛛究竟是怎么抓取的呢,是什么樣的頻率抓取呢,接下來咱們就來了解。
什么是抓取頻次
抓取頻次是搜索引擎在單位時間內(天級)對網站服務器抓取的總次數,如果搜索引擎對站點的抓取頻次過高,很有可能造成服務器不穩定,Baiduspider會根據網站內容更新頻率和服務器壓力等因素自動調整抓取頻次。
什么情況下可以進行抓取頻次上限調整
首先,Baiduspider會根據網站服務器壓力自動進行抓取頻次調整。其次,如果Baiduspider的抓取影響了網站穩定性,站長可以通過此工具調節Baiduspider每天抓取您網站的頻次上限。
強調1:調整抓取頻次上限不等于調高抓取頻次。強調2:建議您慎重調節抓取頻次上限值,如果抓取頻次過小則會影響Baiduspider對網站的收錄。
當前抓取頻次過大怎么辦?
您可以按照如下方法依次進行排查及解決頻次過大問題:
1、如果您覺得Baiduspider抓取了您認為的無價值鏈接,請更新網站robots.txt進行屏蔽抓取,然后到robots工具頁面操作生效。
2、如果Baiduspider的抓取影響了您網站的正常訪問,請到抓取頻次上限調整頁面進行抓取頻次上限下調。
3、若以上方法均不能解決問題,請到百度站長平臺反饋中心反饋。
當前抓取頻次過小怎么辦?
您可以按照如下方法依次進行排查及解決頻次過小問題:
1、若您已設置了抓取頻次上限,建議您先取消抓取頻次上限設置或到抓取頻次上限調整頁面上調抓取頻次上限。
2、若您未設置抓取頻次上限,建議先使用抓取異常工具查看是否為抓取異常導致。
3、若您仍覺得抓取量較小,可能是您有新鏈接未提交,請到鏈接提交頁面進行數據提交。
4、若以上方法均不能解決問題,請到百度站長平臺反饋中心反饋。