ELK是Linux日志集中化的主流入门方案:Filebeat轻量采集,Logstash解析过滤,Elasticsearch存储检索,Kibana可视化;需分机部署、时区统一、索引按天管理并配置ILM与权限。

Linux日志集中化用ELK(Elasticsearch + Logstash + Kibana)是最主流的入门方案,核心思路是:各服务器用轻量采集器把日志发到Logstash做解析过滤,存入Elasticsearch,再由Kibana可视化查询。
一、ELK各组件角色与部署建议
Elasticsearch是分布式搜索引擎,负责存储和检索日志;Logstash是数据管道,做收集、转换、转发;Kibana是Web界面,用于搜索、图表和仪表盘。生产环境建议分机部署:Logstash可多实例横向扩展,Elasticsearch建议3节点起集群(避免单点故障),Kibana单节点即可,但需反向代理加认证。
二、日志采集端怎么轻量接入
不推荐直接在每台业务机跑Logstash(资源开销大)。更常用的是用Filebeat——它占用内存小、启动快、支持SSL加密传输。配置filebeat.yml指定日志路径(如/var/log/nginx/access.log)、输出目标(Logstash或直连ES)、字段添加(比如host.name、env: prod)。
- 用filebeat modules可一键启用Nginx、System、MySQL等常见服务日志解析模板
- 若需自定义字段提取,可在Logstash里用grok插件写匹配规则,例如%{COMBINEDAPACHELOG}
- 注意时区统一:Filebeat默认用系统本地时间,建议在output前加processor设为UTC,Elasticsearch也保持UTC索引
三、Logstash处理链关键配置点
一个典型pipeline.conf包含input(接收beats)、filter(解析+丰富+过滤)、output(写入ES)。重点不在“全都要”,而在“够用且稳定”:
标签: mysql linux apache nginx access ssl 搜索引擎
还木有评论哦,快来抢沙发吧~