暴趣科技网
您的当前位置:首页ElasticSearch | 用 ELK 做日志管理

ElasticSearch | 用 ELK 做日志管理

来源:暴趣科技网

Filebeat | 简介

Filebeat 用来读取日志文件,保证数据至少被读取一次,可以处理多行数据,解析 JSON 格式,做简单的过滤,但是 Filebeat 不会做深度的解析和加工;日志是非结构化的数据,需要进行处理后,以结构化的方式保存到 ElasticSearch 中。

Filebeat | 执行流程

  • 定义数据类型:通过 filebeat.yml 对 Prospector 进行配置,定义如何到机器上对数据进行读取;
  • 建立数据模型:为写入 ElasticSearch 的数据设计 Index Template;
  • 建立数据处理流程:Filebeat 是不对数据做处理的,可以通过 Ingest Pipeline 对写入的数据做处理;
  • 存储数据并提供可视化的分析:ElasticSearch + Kibina Dashboard;

因篇幅问题不能全部显示,请点此查看更多更全内容