? ? 一、搜索引擎蜘蛛
? ? 搜索引擎蜘蛛又稱網頁爬蟲。目的:抓取高質量的網頁內容。下面講幾個常見的搜索引擎蜘蛛分類:
? ? 1.1 Baiduspider(百度蜘蛛)
? ? 百度公司還有其它幾個蜘蛛:Baiduspider-news(新聞)、Baiduspider-mobile(wap)、Baiduspider-image(圖片)、Baiduspider-video(視頻),站長經常見到的是Baiduspider和Baiduspider-image。
? ? 1.2 Googlebot(谷歌蜘蛛)
? ? 還發現一個Googlebot-Mobile,看名字應該是抓取wap內容的。
? ? 1.3 360Spider(360蜘蛛)
? ? 它是一個很“勤奮抓爬”的蜘蛛。
? ? 1.4 Sogou News Spider(搜狗蜘蛛)
? ? 還包括如下這些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,看最權威的百度的robots.txt http://www.baidu.com/robots.txt 就為Sogou搜狗蜘蛛費了不少字節,占了一大塊領地。
? ? 其它還有很多蜘蛛就不過多介紹,SEO優化主要針對這四個就可以,有興趣可閱讀搜索引擎蜘蛛大全這篇文章。