日志收集工具的比较
自从大数据成为热门话题以来已经过去了一段时间，我们开始听到了Fluentd、Logstash、Apache Flume和Kafka等工具的名字。随之而来的还有全文搜索引擎和Kibana等可视化工具也变得热门起来。作为日志分析的基础，我开始调查日志收集工具。
日志收集工具
作为日志收集工具，可以提到Fluentd、Logstash和Flume等。可以从文件、邮件、syslog、数据库和传感器中读取日志数据，并对所需的日志进行过滤，然后将其转换为json或xml格式并进行输出。
Fluentd (流畅日志收集器)
优点
-
- プラグインが300+公開されており、様々な形式のデータをインプット、アウトプットできる
-
- 単体でログのフィルタ、バッファ、ルーティングができる
-
- 2000+を超える企業に利用されている
- 日本語の情報が多い
缺点
如果单独运行，如果fluentd崩溃，则缓冲的日志将消失。
当输入意外的日志时，将产生大量的堆栈跟踪。
日志聚合和处理工具
优点
-
- フィルタを簡単にカスタマイズできる
-
- Fluentdと比べるとシンプル
- Windowsでも動く
缺点
- バッファがないため大量にログを吐く場合kafka等と組み合わせる必要がある。
阿帕奇弗卢姆
优点
-
- 冗長化などの仕組みも備えているので障害にも強い
-
- Hadoopとの親和性が高い
- 大量のログデータをリアルタイムに転送できる
缺点
- 機能が多いため設定が複雑
阿帕奇卡夫卡
Kafka是一个2011年发布的开源分布式消息系统。通过在Zookeeper上创建多个kafka服务并组成集群，可以接收大量的消息。它的应用场景包括接收日志收集工具的输出、作为全文搜索引擎添加之前的缓冲等。
对于日志可视化方法的调查
