对于squid统计域名这件事,结论很简单:通过分析squid的access.log日志文件,配合awk等文本处理命令或现成工具,就能精准算出每个域名的访问次数、流量消耗和缓存命中情况。 不需要额外安装复杂的商业软件,一台普通服务器就能完成统计工作。
为什么要统计squid代理的域名访问数据
企业或学校部署squid代理后,日志文件里记录着所有用户请求的完整路径,分析这些数据,能回答三个最实际的问题:哪些域名消耗了最多带宽?哪些域名被高频访问但缓存命中率低?某个具体时间段内,某个特定域名的请求量是多少?
这些数据对网络运维和内容策略调整都很有参考价值,比如发现某个视频网站占用了超过一半的出口带宽,就可以在squid配置里针对该域名做限速或缓存策略调整。
域名访问统计的核心数据来源
squid的access.log是统计工作的唯一事实来源,日志的每一行记录了客户端的IP地址、请求时间、HTTP方法、域名、URL路径、响应大小、缓存状态等关键字段,其中请求大小和缓存状态两个字段是统计流量的核心依据。
access.log日志格式解析
日志一行长这样:
789 123 192.168.1.10 TCP_HIT/200 512 GET http://www.example.com/ - HIER_DIRECT/1.2.3.4 text/html
字段从左到右依次是时间戳、耗时、客户端IP、缓存结果/状态码、响应字节数、请求方法、完整URL(其中包含域名)、下游Peer地址、内容类型,做域名统计时,只需提取“完整URL”字段做域名截取,再按域名分组累加“响应字节数”即可。
如何区分命中与未命中流量
TCP_HIT表示缓存命中,TCP_MISS表示未命中,统计时通常建议对两种状态分别计数,因为未命中的请求消耗了上游带宽和squid的处理能力,而命中的请求成本低得多,如果只关心出口流量,可以只看MISS的累计字节数。
手把手教你用命令行统计squid域名访问量排名
这是最直接、零成本的方法,统计前先确认squid日志轮转时间,避免统计到不完整的数据。
提取域名并统计访问次数
以下命令可以统计每个域名的独立访问请求数排名。
awk '{print $7}' /var/log/squid/access.log | awk -F/ '{print $3}' | sort | uniq -c | sort -rn | head -30
命令拆解:第一条awk提取整行第七列的完整URL;使用斜杠做分隔符时,第三个字段就是域名部分,排序后用uniq计数,最后倒序排列取前30名。
统计域名消耗的总流量
如果想知道哪个域名吃掉最多带宽,把第七列的信息转化为字节数累加。
awk '{print $7, $5}' /var/log/squid/access.log | awk -F'[/ ]' '{url=$1; bytes=$2; split(url, arr, "/"); domain=arr[3]; sum[domain]+=bytes} END {for (d in sum) print sum[d], d}' | sort -rn | head -30
这是用第二列先取出域名和字节数,实际跑批时,建议先对access.log做grep过滤,排除CONNECT请求中的IP直连形式,因为这类请求的URL字段是IP而非域名。
按时间段筛选统计
通过grep提取指定时间段的日志行,再进行聚合,时间戳与系统时间的换算,可以用date命令先算出起止时间戳,再用awk做范围判断。
start_ts=$(date -d "2026-01-01 00:00:00" +%s)
end_ts=$(date -d "2026-02-01 00:00:00" +%s)
awk -v start="$start_ts" -v end="$end_ts" '$1 >= start && $1 <= end {print $7}' /var/log/squid/access.log | ...
后续的管道处理与前述相同,只需替换具体的日志路径与时间参数。
高级技巧:合并统计并对比分析域名趋势
基础统计解决单日或单文件的问题,但运维工作往往需要按周、按月对比分析。
多日志文件合并处理
squid的日志一般会按天轮转,文件名类似access.log.1、access.log.2.gz,处理时先将所有gz文件解压合并,再进入统计流程。
zcat /var/log/squid/access.log..gz > /tmp/all_squid.log cat /var/log/squid/access.log >> /tmp/all_squid.log
然后对合并后的文件执行统计命令,这种方式能分析一个完整自然周的域名分布,避免因日志轮转丢失边界数据。
统计不同域名的缓存命中率
通过统计TCP_HIT与SUM的总数之比,就能得到该域名的命中率,这适用于评估某个特定域名的可缓存性。
awk '{print $7, $4}' /var/log/squid/access.log | awk -F'[/ ]' '{if ($4 ~ /TCP_HIT/) hit[$3]++; total[$3]++} END {for (d in total) if (total[d] > 100) print hit[d]/total[d], d, total[d]}' | sort -rn | head -20
命中率高于80%的域名说明缓存策略合理,低于30%的域名则需要检查squid的refresh_pattern配置是否没有覆盖该类资源。
使用squid自带工具与第三方工具的优势对比
命令行的确足够灵活,但面对多人协作、历史趋势可视化等需求,工具化方案更顺手。
| 统计工具 | 实时性 | 可视化程度 | 部署复杂度 | 适用场景 |
|---|---|---|---|---|
| awk命令 | 高 | 无 | 极低 | ad-hoc排障、单次统计 |
| cachemgr.cgi | 高 | 基础 | 极低 | 看实时缓存统计指标 |
| SARG | 低 | 有图表 | 一般 | 按日/周/月输出报告 |
| Webalizer | 低 | 有图表 | 一般 | 面向网页浏览式的访问分析 |
cachemgr.cgi的域名相关数据
squid自带的cachemgr.cgi管理界面能实时显示各协议请求数、缓存对象数量和内存使用情况,但它不直接提供域名维度的访问量排行,要看到精确的域名维度数据,仍需回到日志分析。
SARG的部署逻辑
SARG是目前最常用的squid日志分析工具,它的核心逻辑是解析access.log后,按用户IP和域名维度生成HTML报告,配置SARG时,默认输出路径、日志路径、排除IP列表三个参数通常需要调整,它的好处是不需要写脚本,缺点是报告生成依赖Apache等Web服务,整体链条较长。
Webalizer的使用限制
Webalizer原本是给Apache设计的,它读取的是通用日志格式,squid日志经过一些简单转换后可以用Webalizer处理,但其域名维度展示为扁平列表,交互性较弱,除非已有Webalizer部署环境,否则为squid单独引入Webalizer并不是最优选。
业内专家指出,多数生产环境下的squid域名统计需求,都可以通过awk或SARG两条路径覆盖,优先考虑工具链的稳定性比追求图表美观更重要。
squid域名统计常见问题排查
时间戳显示与实际时间不一致
squid日志时间戳默认是Unix时间戳,显示为UTC时间格式,若需要转换为本地时间,在命令里加上:
awk '{print strftime("%Y-%m-%d %H:%M:%S", $1), $0}' /var/log/squid/access.log
排查时注意时区偏移,避免用错误的时间范围统计出空结果。
统计结果中有大量IP地址而非域名
这通常发生在用户直接通过IP访问服务时,例如内网应用或TLS握手阶段产生的CONNECT请求,过滤这类记录比较简单:
grep -v CONNECT /var/log/squid/access.log | ...
去重与子域名聚合问题
统计域名时,news.example.com和mail.example.com会被当作两个独立域名,若要聚合到根域名,可以用sed做后缀替换:
sed -E 's/^([a-z0-9-]+\.)+example\.com$/example.com/'
多数团队只统计到二级域名,所以这一步视需求决定是否处理。
Q&A:squid域名统计的深度解析
问:squid的access.log会占用大量磁盘空间,如何控制日志大小?
squid默认的日志不压缩,几周时间就可能产生数十GB文件,可以通过配置logfile_rotate和cron定时任务定期压缩归档,较为稳妥的做法是每天切割日志,压缩保留30天,旧日志自动删除,压缩后日志的统计流程需要增加zcat步骤,但磁盘消耗能下降80%以上。
问:squid统计域名的数据能不能接入监控告警系统?
可以,统计结果为纯文本格式,经过简单加工即可推送到Prometheus或Zabbix,常见做法是用脚本每分钟扫描最近的日志增量,计算出域名请求速率和流量速率,再通过node_exporter的textfile collector暴露指标,重点监控的域名可以单独配置阈值,达到阈值时通过Alertmanager发送告警通知。
问:一个拥有500个内网用户、日均产生2GB日志的企业环境,统计后对运维有哪些实际价值?
从日志数据可以看到,正常情况下视频、社交和软件更新类域名会占较大比例的流量,针对这些域名设置更长的缓存时间、或调整白名单策略能显著缓解出口带宽压力,按日观察Top域名列表的波动也有助于发现异常外联行为,例如某些机器在非工作时间持续请求远控域名,这类行为在域名访问量的突增中会暴露出来。