服务器与大带宽专家 · 持牌IDC/CDN/ISP服务商
简米科技官网JIANMI TECH
资讯 2026-11-16 简米科技 4,420 字 11 分钟阅读

squid统计域名如何查看?squid统计域名分析教程,2026最新详解

导读Squid统计域名的核心做法是解析access.log中的URL字段,按域名聚合访问次数、流量和命中状态,再用脚本或报表工具做持续监控, 这件事不复杂,难在日志字段要对、统计口径要统一、后续审计要能落地,Squid如何统计域名访问量:从access.log到排行报表access.log里哪个字段记录域名Squi……

Squid统计域名的核心做法是解析access.log中的URL字段,按域名聚合访问次数、流量和命中状态,再用脚本或报表工具做持续监控。 这件事不复杂,难在日志字段要对、统计口径要统一、后续审计要能落地。

Squid如何统计域名访问量:从access.log到排行报表

access.log里哪个字段记录域名

Squid默认的access.log一行通常包含时间、耗时、客户端IP、状态码、字节数、请求方法、URL、对端信息等字段。域名就藏在URL字段里,默认格式下一般是第7列。

一条典型记录长这样:

123 12 192.168.1.10 TCP_MISS/200 1234 GET http://example.com/index.html - DIRECT/93.184.216.34 text/html

这里第7列是http://example.com/index.html,对于HTTPS的CONNECT请求,URL列可能是example.com:443,没有http://前缀,所以统计脚本要同时处理两种形态。

三条命令做出域名访问排行

先确认日志路径,常见是/var/log/squid/access.log,临时排查可以用下面这条命令:

awk '{print $7}' /var/log/squid/access.log \
| sed -E 's#^[a-zA-Z]+://##; s#/.##; s#:.##' \
| sort | uniq -c | sort -nr | head -20

这条命令做了三件事:取URL列、去掉协议和路径、按域名计数排序,输出就是访问量前20的域名。

如果要按域名统计流量,把字节数列一起聚合:

awk '{
  url=$7; bytes=$5;
  sub(/^[a-zA-Z]+:\/\//,"",url);
  sub(/\/./,"",url);
  sub(/:./,"",url);
  traffic[url]+=bytes
} END {
  for (d in traffic) print traffic[d], d
}' /var/log/squid/access.log | sort -nr | head -20

字节数字段默认在第5列,但如果你改过logformat,字段位置会变,动手前先head -1 access.log看一眼,别直接套命令。

统计口径要提前定清楚

同样叫“域名访问量”,口径不同结果差很多,常见口径有三种:

  • 请求次数:每一条日志算一次,适合看访问频次。
  • 独立客户端数:按客户端IP去重,适合看覆盖范围。
  • 流量字节数:按响应字节累加,适合看带宽消耗。

企业内网审计通常同时看请求次数和流量,只看看次数,容易漏掉大文件下载;只看流量,又容易忽略高频小请求。

Squid统计域名流量用什么工具:轻量脚本与专业平台对比

轻量场景:Shell加Sarg够不够

如果只是几十台终端、每天日志几百MB,Shell脚本加Sarg就能跑,Sarg是Squid Analysis Report Generator,能把access.log生成HTML报表,按用户、网站、时间维度展示。

典型操作路径:

# Debian/Ubuntu
apt install sarg
# 修改配置
vi /etc/sarg/sarg.conf
# 指定日志路径和输出目录后生成报表
sarg -x

Sarg适合部门级查看,部署成本低,报表直接放内网Web目录就能访问,缺点是定制能力有限,域名聚合维度不如专业平台灵活。

企业场景:ELK与商业日志平台

终端规模上来后,单机脚本会遇到日志轮转、历史查询、多节点汇总的问题,这时常见组合是Filebeat采集access.log,Logstash或Ingest Pipeline解析,Elasticsearch存储,Kibana按域名做聚合面板。

业内专家指出,日志分析平台的选型关键不是功能多少,而是字段解析是否稳定和历史数据保留成本,Squid日志格式一旦变更,解析规则就要同步调整,否则域名统计会漏数据。

方案 授权成本 部署成本 适合场景
Shell加Awk 零授权 低 临时排查、小规模
Sarg 开源免费 低 部门级HTML报表
ELK 开源免费,商业版按资源或数据量计费 中高 企业级集中分析
商业日志平台 按数据量或节点数计费 中 合规审计、多分支

行业共识认为,日日志量超过数GB后,单机脚本的查询体验会明显下降,集中式日志平台更合适,这个阈值不是绝对,但可以作为选型参考。

企业内网Squid统计域名访问的完整操作路径

日志格式与轮转先配好

统计之前先把日志基础打牢,在squid.conf里确认访问日志配置:

logformat squid_custom %ts.%03tu %6tr %>a %Ss/%03>Hs %<st %rm %ru %un %Sh/%<A %mt
access_log /var/log/squid/access.log squid_custom

如果使用默认格式,不必重复定义,重点是不要随意改字段顺序,否则历史脚本全部失效,日志轮转用Squid自带参数:

logfile_rotate 10

手动触发轮转:

squid -k rotate

轮转后的文件通常带.0、.1后缀,统计脚本要能处理多个文件,或者用zcat读压缩日志。

按域名聚合流量和命中率

企业内网不只关心访问排行,还关心缓存效果,Squid日志第4列包含TCP_HIT、TCP_MISS等状态,可以按域名统计命中比例:

awk '{
  url=$7; status=$4;
  sub(/^[a-zA-Z]+:\/\//,"",url);
  sub(/\/./,"",url);
  sub(/:./,"",url);
  total[url]++;
  if (status ~ /TCP_HIT/) hit[url]++
} END {
  for (d in total) printf "%s %d %d %.2f%%\n", d, total[d], hit[d]+0, (hit[d]+0)/total[d]100
}' /var/log/squid/access.log | sort -k2 -nr | head -20

输出包含域名、总请求、命中数和命中率。命中率低的域名可能是动态接口或HTTPS流量,不一定代表缓存配置有问题,要结合业务判断。

把统计结果接入审计和告警

统计结果不要只停留在命令行,常见做法是每天定时跑脚本,把域名排行写入CSV,再推送到内部报表系统,对敏感域名可以设阈值告警,例如某类域名访问量突然升高时触发邮件。

操作上可以用cron每天凌晨执行:

0 2    /usr/local/bin/squid_domain_report.sh >> /var/log/squid_domain_report.log 2>&1

脚本里保留日期参数,按天生成文件,方便回溯,审计场景下还要注意客户端IP和用户名的关联,否则只能看到域名,定位不到人。

Squid统计域名收费吗?开源与商业方案成本对比

零授权成本的自建组合

Squid本身开源,access.log也是本地文件,用Shell、Awk、Sarg做统计,软件授权成本为零,主要成本是服务器资源和维护人力,小规模场景下,一台现有Linux服务器就能跑。

自建组合的隐性成本在脚本维护,日志格式调整、字段变更、轮转策略变化,都需要改脚本,如果团队没有固定运维人员,脚本容易年久失修。

按数据量计费的商业平台

商业日志平台通常按每日写入数据量、节点数或存储容量计费,具体以厂商报价为准,它省掉的是部署和调优工作,适合合规审计要求高、多分支集中管理的场景。

选型时别只看授权费。历史数据保留周期和查询并发往往才是成本大头,Squid日志单条不大,但域名维度查询频繁时,索引成本会上升。

多分支机构与地域场景下的Squid统计域名集中

日志汇总到中心节点

在华东、华南多分支办公场景中,常见做法是各分支Squid保留本地日志数天到数周,同时用Filebeat或rsyslog把日志汇总到中心节点,中心节点统一做域名聚合,分支只负责采集和短期留存。

这种结构的好处是中心看全局排行,分支看本地明细,带宽紧张时,可以只上传域名聚合结果,不上传原始日志,聚合结果体积小,跨地域传输压力低。

域名维度做审计与告警

集中之后,域名统计就不只是流量报表,还能做访问审计,比如按分支、按部门、按时间段看域名访问分布,发现异常域名时回查原始日志,操作路径是先在中心Elasticsearch按域名过滤,再下钻到客户端IP和时间段。

地域场景下要特别注意时间同步,各分支Squid服务器时间不一致,汇总后的时间序列会错位,统一NTP是最基础的一步,否则域名访问高峰判断会失真。

Squid统计域名Q&A

Squid统计域名需要改squid.conf吗?

不改也能统计,默认access.log已经包含URL字段,直接用脚本解析即可,只有当你需要自定义字段、调整日志路径或控制轮转数量时,才需要修改squid.conf中的logformat、access_log和logfile_rotate,改完后执行squid -k reconfigure生效。

Squid统计域名能区分HTTPS访问吗?

能区分域名,但看不到完整URL路径,HTTPS通过CONNECT方式代理时,日志里记录的是域名:端口,没有路径和内容,统计域名访问量没问题,统计具体页面需要依赖其他手段,脚本里要把域名:443中的端口去掉,否则同一个域名会被拆成多条记录。

Squid统计域名会拖慢代理性能吗?

统计动作在日志落盘后进行,不阻塞Squid转发请求,真正影响性能的是在Squid进程内做复杂正则匹配或同步写远程日志,把统计脚本放在独立节点、按批处理日志,对代理转发性能的影响可以控制在很低的水平。

分享本文
本文为 简米科技官网 原创,已由运维技术专家审核。转载请注明来源:原文链接
售前咨询 服务热线 售后 邮箱