数据分析&可视化——网站日志数据分析

 数据获取与清理
安装apache_log_parser库
log日志解析格式
解析第1条日志记录
批量读取日志记录
日志清理与保存CSV
日志状态码与流量分析
日志状态码分析
日志流量分析
数据获取与清理

安装apache_log_parser库

支持解析日志行的库文件,如果本地已经配置好python环境, 建议采用pip命令来安装


log日志解析格式

详细的日志解析格式请参考:https://www.cnblogs.com/wajika/p/6605939.html,而我们用到的日志参考格式如下:

%V 服务器名称
%h 远端主机
%l 远端登录名
%u 远程用户名
%t 时间,用普通日志时间格式(标准英语格式)
%r 请求的第一行
%s 状态。对于内部重定向的请求,这个状态指的是原始请求的状态, %>s则指的是最后请求的状态
%b 以CLF格式显示的除HTTP头以外传送的字节数,也就是当没有字节传送时显示’-'而不是0
%Referer: 一般会带上Referer,告诉服务器该网页是从哪个页面链接过来的 %i: Foobar的內容,发给服务器请求的标准行
%T 处理完请求所花时间,以秒为单位。
解析第1条日志记录


解析的结果如下


批量读取日志记录


日志清理与保存CSV


日志状态码与流量分析

日志状态码分析


状态码分析柱状图


状态码分析折线图


日志流量分析


整体流量分析折线图


2H采样的流量图

相关产品

评论