我們做seo優化要經常分析網站日志,網站日志的分析和診斷就像給網站看病一樣,我們通過網站日志的分析,可以更加清楚的知道網站的健康狀況,可以利于這些數據讓我們更好的做網站seo優化,今天海瑤SEO發包技術小編和大家分享下網站日志分析和診斷,如果有什么不對的地方,可留言提問大家一起探討交流!網站日志又稱蜘蛛日志,它是成千上萬個“蜘蛛”小爬蟲程序每天爬行數千萬個網站,這個小爬蟲程序就是“蜘蛛”,它在網站爬行后留下的軌跡或痕跡就是“日志”。
常見的蜘蛛名稱:Baiduspider;Baiduspider-Image;Googlebot;Googlebot-Image;360Spider;sogou spider。
一、網站日志的重要作用?
1、通過網站日志可以了解蜘蛛對網站的基本爬取情況,可以知道蜘蛛的爬取軌跡和爬取量,通過我們的網站日志,外鏈的多和少和網站蜘蛛的爬取量是有直接影響的,我們所說的鏈接誘餌就是如果你做了一個外鏈,蜘蛛在爬取這個外鏈頁面并把頁面放出來時,蜘蛛可以通過你留的這個鏈接來爬取你的網站,而網站日志正是會記錄下蜘蛛的這次爬取行動。
2、網站的更新頻率也和網站日志中蜘蛛抓取的頻率有關,一般來說更新頻率越高,蜘蛛的抓取頻率越高,而我們網站的更新不僅僅只是新內容的添加同時還有我們的微調操作。
3、我們可以根據網站日志的反應情況,對我們的空間的某些事情和問題提前進行預警,因為服務器如果出問題的話在網站日志中會第一時間反映出來,要知道服務器的穩定速度和打開速度兩者都會直接影響我們的網站。
4、通過網站日志我們可以知道網站的那些頁面是很受蜘蛛歡迎的,而哪些頁面是蜘蛛連碰都不去碰的,同時我們還能發現有一些蜘蛛由于是過度爬取對我們的服務器資源損耗是很大的,我們要進行屏蔽工作。
二、如何下載日志及日志設置注意事項?
1、首先我們的空間要支持網站日志下載,這一點是很重要的,在我們購買空間之前必須要先問好支不支持網站日志下載,因為有的服務商是不提供這項服務的,如果支持的話空間后臺一般都有日志WebLog日志下載這個功能把它下載到根目錄在用FTP傳到本地就可以,服務器的話可以設置將日志文件下載到指定路徑。
2、這里有個很重要的問題,網站日志強烈建議設置成每小時生成一次,小型的企業站和頁面內容較少的網站可以設置成一天,它默認是一天,如果內容多或者大型站設置成一天生成一次,那么一天只生成一個文件,這個文件會相當的大,我們有時電腦打開是會造成死機,設置的話找空間商協調設置即可。
三、網站日志的分析。
1、日志的后綴名是log的我們用記事本打開,選擇格式里的自動換行這樣看起來方便,同時用搜索功能搜索BaiduSpider和Googlebot這兩個蜘蛛。
2、我們分析的時候先看看狀態碼 200代表下載成功,304代表頁面未修改,500代表服務器超時,這些是一般的其他代碼可以百度一下,對于不同的問題我們要處理。
3、我們要看蜘蛛經常爬取哪些頁面,我們要記錄下來,分析他們為什么會經常被蜘蛛爬取,從而分析出蜘蛛所喜歡內容。
4、有時候我們的路徑不統一出現帶斜杠和不帶斜杠的問題,蜘蛛會自動識別為301跳轉到帶斜杠的頁面,這里我們就發現了搜索引擎是可以判斷我們的目錄的,所以我們要對我們的目錄進行統一。
5、我們分析日志分析時間長了,我們能夠看出蜘蛛的抓取規律,同一目錄下面的單個文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看出來,這些抓取頻率間隔時間是蜘蛛根據網站權重和網站更新頻率來自動確定的。
6、蜘蛛對于我們的頁面的抓取是分等級的,是根據權重依次遞減的,一般順序為首頁、目錄頁、內頁。
7、不同IP的蜘蛛他們的抓取頻率也是不相同的
四、那么通過網站日志我們能知道什么?
1、我們發的外鏈是否起到效果?
2、我們買的空間是否能夠穩定?
3、蜘蛛對我們的那些頁面比較喜歡而對哪些不喜歡?
4、蜘蛛什么時候抓取我們的網站頻繁,我們需要什么時候更新內容?
所以不管是新站還是老網站,不管你做百度還是Google我們都能通過網站日志分析出來搜索引擎蜘蛛抓取的情況;如果網站長時間收錄有問題,那么我們也可以對比網站日志中的搜索引擎蜘蛛行為,來了解網站是哪方面出了問題;如果網站被封,或者被K,我們都可以通過觀察網站日志的情況來了解原因出在什么地方。我們要看的網站日志的分析和診斷就像給網站看病一樣,我們通過網站日志的分析,可以簡單明了的就知道網站的健康狀況,可以利于我們更好的做網站優化,所以對于真正的SEO高手而言,分析蜘蛛日志是最直觀,最有效的。