Squid统计域名的核心做法是解析access.log中的URL字段,按域名聚合访问次数、流量和命中状态,再用脚本或报表工具做持续监控。 这件事不复杂,难在日志字段要对、统计口径要统一、后续审计要能落地。
Squid如何统计域名访问量:从access.log到排行报表
access.log里哪个字段记录域名
Squid默认的access.log一行通常包含时间、耗时、客户端IP、状态码、字节数、请求方法、URL、对端信息等字段。域名就藏在URL字段里,默认格式下一般是第7列。
一条典型记录长这样:
123 12 192.168.1.10 TCP_MISS/200 1234 GET http://example.com/index.html - DIRECT/93.184.216.34 text/html
这里第7列是http://example.com/index.html,对于HTTPS的CONNECT请求,URL列可能是example.com:443,没有http://前缀,所以统计脚本要同时处理两种形态。
三条命令做出域名访问排行
先确认日志路径,常见是/var/log/squid/access.log,临时排查可以用下面这条命令:
awk '{print $7}' /var/log/squid/access.log \
| sed -E 's#^[a-zA-Z]+://##; s#/.##; s#:.##' \
| sort | uniq -c | sort -nr | head -20
这条命令做了三件事:取URL列、去掉协议和路径、按域名计数排序,输出就是访问量前20的域名。
如果要按域名统计流量,把字节数列一起聚合:
awk '{
url=$7; bytes=$5;
sub(/^[a-zA-Z]+:\/\//,"",url);
sub(/\/./,"",url);
sub(/:./,"",url);
traffic[url]+=bytes
} END {
for (d in traffic) print traffic[d], d
}' /var/log/squid/access.log | sort -nr | head -20
字节数字段默认在第5列,但如果你改过logformat,字段位置会变,动手前先head -1 access.log看一眼,别直接套命令。
统计口径要提前定清楚
同样叫“域名访问量”,口径不同结果差很多,常见口径有三种:
- 请求次数:每一条日志算一次,适合看访问频次。
- 独立客户端数:按客户端IP去重,适合看覆盖范围。
- 流量字节数:按响应字节累加,适合看带宽消耗。
企业内网审计通常同时看请求次数和流量,只看看次数,容易漏掉大文件下载;只看流量,又容易忽略高频小请求。
Squid统计域名流量用什么工具:轻量脚本与专业平台对比
轻量场景:Shell加Sarg够不够
如果只是几十台终端、每天日志几百MB,Shell脚本加Sarg就能跑,Sarg是Squid Analysis Report Generator,能把access.log生成HTML报表,按用户、网站、时间维度展示。
典型操作路径:
# Debian/Ubuntu apt install sarg # 修改配置 vi /etc/sarg/sarg.conf # 指定日志路径和输出目录后生成报表 sarg -x
Sarg适合部门级查看,部署成本低,报表直接放内网Web目录就能访问,缺点是定制能力有限,域名聚合维度不如专业平台灵活。
企业场景:ELK与商业日志平台
终端规模上来后,单机脚本会遇到日志轮转、历史查询、多节点汇总的问题,这时常见组合是Filebeat采集access.log,Logstash或Ingest Pipeline解析,Elasticsearch存储,Kibana按域名做聚合面板。
业内专家指出,日志分析平台的选型关键不是功能多少,而是字段解析是否稳定和历史数据保留成本,Squid日志格式一旦变更,解析规则就要同步调整,否则域名统计会漏数据。
| 方案 | 授权成本 | 部署成本 | 适合场景 |
|---|---|---|---|
| Shell加Awk | 零授权 | 低 | 临时排查、小规模 |
| Sarg | 开源免费 | 低 | 部门级HTML报表 |
| ELK | 开源免费,商业版按资源或数据量计费 | 中高 | 企业级集中分析 |
| 商业日志平台 | 按数据量或节点数计费 | 中 | 合规审计、多分支 |
行业共识认为,日日志量超过数GB后,单机脚本的查询体验会明显下降,集中式日志平台更合适,这个阈值不是绝对,但可以作为选型参考。
企业内网Squid统计域名访问的完整操作路径
日志格式与轮转先配好
统计之前先把日志基础打牢,在squid.conf里确认访问日志配置:
logformat squid_custom %ts.%03tu %6tr %>a %Ss/%03>Hs %<st %rm %ru %un %Sh/%<A %mt access_log /var/log/squid/access.log squid_custom
如果使用默认格式,不必重复定义,重点是不要随意改字段顺序,否则历史脚本全部失效,日志轮转用Squid自带参数:
logfile_rotate 10
手动触发轮转:
squid -k rotate
轮转后的文件通常带.0、.1后缀,统计脚本要能处理多个文件,或者用zcat读压缩日志。
按域名聚合流量和命中率
企业内网不只关心访问排行,还关心缓存效果,Squid日志第4列包含TCP_HIT、TCP_MISS等状态,可以按域名统计命中比例:
awk '{
url=$7; status=$4;
sub(/^[a-zA-Z]+:\/\//,"",url);
sub(/\/./,"",url);
sub(/:./,"",url);
total[url]++;
if (status ~ /TCP_HIT/) hit[url]++
} END {
for (d in total) printf "%s %d %d %.2f%%\n", d, total[d], hit[d]+0, (hit[d]+0)/total[d]100
}' /var/log/squid/access.log | sort -k2 -nr | head -20
输出包含域名、总请求、命中数和命中率。命中率低的域名可能是动态接口或HTTPS流量,不一定代表缓存配置有问题,要结合业务判断。
把统计结果接入审计和告警
统计结果不要只停留在命令行,常见做法是每天定时跑脚本,把域名排行写入CSV,再推送到内部报表系统,对敏感域名可以设阈值告警,例如某类域名访问量突然升高时触发邮件。
操作上可以用cron每天凌晨执行:
0 2 /usr/local/bin/squid_domain_report.sh >> /var/log/squid_domain_report.log 2>&1
脚本里保留日期参数,按天生成文件,方便回溯,审计场景下还要注意客户端IP和用户名的关联,否则只能看到域名,定位不到人。
Squid统计域名收费吗?开源与商业方案成本对比
零授权成本的自建组合
Squid本身开源,access.log也是本地文件,用Shell、Awk、Sarg做统计,软件授权成本为零,主要成本是服务器资源和维护人力,小规模场景下,一台现有Linux服务器就能跑。
自建组合的隐性成本在脚本维护,日志格式调整、字段变更、轮转策略变化,都需要改脚本,如果团队没有固定运维人员,脚本容易年久失修。
按数据量计费的商业平台
商业日志平台通常按每日写入数据量、节点数或存储容量计费,具体以厂商报价为准,它省掉的是部署和调优工作,适合合规审计要求高、多分支集中管理的场景。
选型时别只看授权费。历史数据保留周期和查询并发往往才是成本大头,Squid日志单条不大,但域名维度查询频繁时,索引成本会上升。
多分支机构与地域场景下的Squid统计域名集中
日志汇总到中心节点
在华东、华南多分支办公场景中,常见做法是各分支Squid保留本地日志数天到数周,同时用Filebeat或rsyslog把日志汇总到中心节点,中心节点统一做域名聚合,分支只负责采集和短期留存。
这种结构的好处是中心看全局排行,分支看本地明细,带宽紧张时,可以只上传域名聚合结果,不上传原始日志,聚合结果体积小,跨地域传输压力低。
域名维度做审计与告警
集中之后,域名统计就不只是流量报表,还能做访问审计,比如按分支、按部门、按时间段看域名访问分布,发现异常域名时回查原始日志,操作路径是先在中心Elasticsearch按域名过滤,再下钻到客户端IP和时间段。
地域场景下要特别注意时间同步,各分支Squid服务器时间不一致,汇总后的时间序列会错位,统一NTP是最基础的一步,否则域名访问高峰判断会失真。
Squid统计域名Q&A
Squid统计域名需要改squid.conf吗?
不改也能统计,默认access.log已经包含URL字段,直接用脚本解析即可,只有当你需要自定义字段、调整日志路径或控制轮转数量时,才需要修改squid.conf中的logformat、access_log和logfile_rotate,改完后执行squid -k reconfigure生效。
Squid统计域名能区分HTTPS访问吗?
能区分域名,但看不到完整URL路径,HTTPS通过CONNECT方式代理时,日志里记录的是域名:端口,没有路径和内容,统计域名访问量没问题,统计具体页面需要依赖其他手段,脚本里要把域名:443中的端口去掉,否则同一个域名会被拆成多条记录。
Squid统计域名会拖慢代理性能吗?
统计动作在日志落盘后进行,不阻塞Squid转发请求,真正影响性能的是在Squid进程内做复杂正则匹配或同步写远程日志,把统计脚本放在独立节点、按批处理日志,对代理转发性能的影响可以控制在很低的水平。