logstash（logstash默认端口号为）

ElasticSearchLogstash妙用

ElasticSearch从入门到精通：Logstash妙用

2020年度监控工具排行榜

1. Kibana

监控工具，浏览并可视化数据。

2. Grafana

监控工具，开源的 Graphite 和 InfluxDB 图形编辑器。

3. Logstash

日志管理，收集、解析并丰富数据。

4. Amazon CloudWatch

云服务监控，通过程序和服务监视 AWS 资源。

5. Sentry

异常监控，查看性能问题，更快地修复错误，并优化代码运行状况。

以上数据来源于StackShare汇总。

大数据开源技术栈

* 数据采集传输：Flume，Kafka，Logstash，DataX，Sqoop

* 数据存储：HDFS，HBase，Hive，MySQL，S3

* 数据计算：MapReduce，Tez，Spark，Storm，Flink

* 数据查询：Presto，Impala，Kylin，ClickHouse，Doris

针对实际业务场景，选择合适的技术。日志文件 | MySQL数据表 -->分别由Flume| Sqoop 处理 --> Kafka | HDFS 存储落地。Hive | Presto | Kylin | ClickHouse | Doris 负责数据查询。