搜索引擎在對網頁進行收錄和排序時,首先需要搜索引擎爬蟲來抓取網頁。所以針對搜索引擎爬蟲的優化,算是 seo 的第一環。
去年在 AliExpress SEO 工作中遇到了一些搜索引擎爬蟲的問題(主要是 Googlebot),比如爬蟲抓取過量導致服務器崩潰、彈窗廣告被搜索引擎判斷為體驗差、JavaScript 內容如何更好的抓取等。因此,我們啟動了一個爬蟲優化的專項 - “蜘蛛俠項目”,最后效果也不錯:每天整體抓取量提升了幾億,流量提升了幾十萬,虛擬機也下線了幾百多臺。
中間有些方案是國內首創,甚至是國際首創,所以我還是比較開心的