什么是日志？

飛機(jī)的日志：黑匣子

電腦的日志：電腦管理-事件查看器-應(yīng)用程序

關(guān)于網(wǎng)站的日志分析，這是SEO數(shù)據(jù)分析重點(diǎn)重要一環(huán)，好的SEOer能夠通過(guò)網(wǎng)站的日志分析出來(lái)網(wǎng)站目前是否是健康的
，是否被人攻擊。

網(wǎng)站日志分析有什么用？
1、重要的頻道(大量流量著陸頁(yè)面，高轉(zhuǎn)化率，用戶直接交易頁(yè)面等)有更多的爬蟲(chóng)來(lái)抓取;
2、在爬蟲(chóng)一定的抓取時(shí)間內(nèi)，盡量少花精力放在一些無(wú)用的噪音頁(yè)面上(重復(fù)頁(yè)面，低質(zhì)量頁(yè)面，空內(nèi)容頁(yè)面，404頁(yè)  

 面，不排名頁(yè)面，低轉(zhuǎn)化頁(yè)面等);
3、爬蟲(chóng)在抓取頁(yè)面的時(shí)候，盡量增加抓取的有效性，而不是重復(fù)抓取幾篇相同的頁(yè)面;
4、爬蟲(chóng)不會(huì)被繁雜的URL參數(shù)所擾，不會(huì)進(jìn)入無(wú)休止的爬蟲(chóng)陷阱中;
5、每個(gè)頁(yè)面的下載時(shí)間足夠的快，這樣，可以讓爬蟲(chóng)在時(shí)間一定的基礎(chǔ)上能夠更多的抓取頁(yè)面;
6、爬蟲(chóng)都能夠完整的抓到我們想讓他抓的頁(yè)面，不要抓到我們的隱私頁(yè)面;
7、日志中不要有太多的404，不要有無(wú)理由的跳轉(zhuǎn)，不要有很多的500(服務(wù)器錯(cuò)誤),這樣的情況出現(xiàn);
8、那些更新頻繁但是價(jià)值很低的頁(yè)面不要吸引太多的爬蟲(chóng)精力;
9、我們所有的產(chǎn)品，所有的品類(lèi)，所有一切有用的東西都要被爬蟲(chóng)完整爬到并且快速遍歷;
10、能用碰到真正的爬蟲(chóng)，而不是一些模擬爬蟲(chóng)的機(jī)器人;
11、爬蟲(chóng)能夠完整的下載到我們的robots.txt;
12、爬蟲(chóng)可以根據(jù)我們?nèi)肟诘恼{(diào)整，robots.txt的限制引導(dǎo)，JS的設(shè)計(jì)等按照我們的要求進(jìn)行爬取;
13、爬蟲(chóng)越多越好。。。對(duì)我們的興趣越大越好，當(dāng)然，一切是在我們自身信任度和重要度增加的基礎(chǔ)上。

網(wǎng)站日志分析需要從哪些維度進(jìn)行分析

1、網(wǎng)站日志中的搜索引擎爬蟲(chóng)類(lèi)型，以目前國(guó)內(nèi)的搜索引擎時(shí)?？?，從日志中可以看到的爬蟲(chóng)大體有:
百度蜘蛛（包括PC移動(dòng)及渲染蜘蛛等，具體spider名稱(chēng)不做闡述，站長(zhǎng)平臺(tái)均有詳細(xì)蜘蛛講解）；
搜狗蜘蛛、360蜘蛛、神馬蜘蛛、頭條蜘蛛（具體spider名稱(chēng)不做闡述，站長(zhǎng)平臺(tái)均有詳細(xì)蜘蛛講解）；
各蜘蛛的抓取占比應(yīng)與目前搜索引擎所占市場(chǎng)份額相差不大；需注意的是神馬為移動(dòng)端站長(zhǎng)平臺(tái)；

2、抓取鏈接
分析各個(gè)爬蟲(chóng)抓取鏈接的結(jié)構(gòu)類(lèi)型，例如目錄頁(yè)面還是詳情頁(yè)或者serch頁(yè)面JS鏈接等；

分析各個(gè)類(lèi)型抓取占比是否正常；
分析爬蟲(chóng)抓取鏈接的時(shí)間規(guī)律，比如百度，在哪個(gè)時(shí)間端的來(lái)訪抓取量最大，抓取時(shí)間線可了解；
分析訪問(wèn)鏈接與抓取鏈接的關(guān)聯(lián)；

3、抓取量級(jí)
計(jì)算總抓取量級(jí)，各個(gè)爬蟲(chóng)抓取量級(jí)、各個(gè)鏈接類(lèi)型抓取量級(jí)，是否在正常范圍；

4、狀態(tài)碼
200、301、302、304、404、403、500、502等（根據(jù)抓取鏈接狀態(tài)碼分析網(wǎng)站是否正常等）

5、IP是否對(duì)應(yīng)
是否存在偽爬蟲(chóng)IP段、是否存在采集、掃描、攻擊等行為，將異常IP段及爬蟲(chóng)進(jìn)行封禁；

6、新增抓取量
分析近期站內(nèi)新生成鏈接的抓取占比、抓取次數(shù)等

常用網(wǎng)站日志分析工具

1、天眼日志分析系統(tǒng)
軟件介紹：
天眼日志分析系統(tǒng)是中國(guó)推廣學(xué)院推出的一套針對(duì)SEO日志分析軟件，支持windows和linux等操作系統(tǒng)的日志分析。包

括對(duì)百度、谷歌、360和搜狗等搜索引擎蜘蛛爬行情況分析。另外軟件獨(dú)創(chuàng)網(wǎng)站安全分析，和IP黑名單功能。軟件兼容

性強(qiáng)可以在本機(jī)和服務(wù)器系統(tǒng)直接運(yùn)行。是目前國(guó)內(nèi)出色的SEO日志分析系統(tǒng)。

2、愛(ài)站日志分析

軟件介紹：
愛(ài)站日志分析工具是一款由愛(ài)站打造的日志分析軟件，能幫助站長(zhǎng)進(jìn)行日志分析工作，即時(shí)監(jiān)控蜘蛛訪問(wèn)狀況，發(fā)現(xiàn)問(wèn)

題，及時(shí)處理。此工具可以自動(dòng)識(shí)別IIS、Apache、Nginx日志格式,支持直接拖拽日志一個(gè)或多個(gè)文件（夾）至窗口進(jìn)

行分析，每一項(xiàng)數(shù)據(jù)都分別以“數(shù)據(jù)顯示”和“圖形顯示”兩種不同方式向用戶展示數(shù)據(jù)結(jié)果。


愛(ài)站SEO工具包之網(wǎng)站日志分析工具使用方法
http://gongju.aizhan.com/course/32.html

網(wǎng)站日志分析工具視頻教程 - 愛(ài)站seo工具包
http://gongju.aizhan.com/jc_7.html