我們在優化網站時，有很多設置是不利于蜘蛛抓取的，具體有哪些呢?下面小編為大家總結的一些設置方法，僅供參考：

登錄設置

有些網站會設置注冊賬號的服務，登錄之后才能看到網站的內容，這種設置對于蜘蛛來說不友好，蜘蛛它也不會注冊登錄，自然就抓取不到了。

動態URL

所謂動態URL就是在鏈接中“?”同時以aspx、asp、jsp、perl、php、cgi為后綴的url，便是動態URL，動態URL的變動性較大，不如靜態URL穩定，搜索引擎一般對動態URL不夠信任，從而使很多動態URL的網頁不能被收錄。

使用Cookies

Cookies的作用是識別用戶的身份，Cookies如果未開啟，則無法進行訪問，這樣會導致蜘蛛無法訪問，從而影響抓取。

網站跳轉

有些網站打開之后就會自動跳轉到其他的頁面，跳轉會增加網站加載的時間，不推薦大家這樣做，只做301跳轉就可以了，301跳轉可以進行權重的集中，其他類型的調整不建議做。

Flash文件

有些網站設計一些Flash文件，為瀏覽用戶帶來很好的視覺效果，但可惜搜索引擎看不到，無法讀取任何內容所以為了能體現網站優化的最好效果，不提倡這種Flash做首頁圖片。

以上幾方面的設置，都可能直接或者間接性的影響蜘蛛爬行速度和抓取量，所以是需要各位站長們注意的，內容僅供參考，如需補充請在線留言。