将Vuls的日志导入ElasticSearch并进行可视化

这篇文章是“2016年Vuls Advent Calendar”的第四天的文章。

首先

上次我使用EXCEL创建报告,但是当系统规模很大时,Vuls输出的日志量也非常庞大,无法通过EXCEL进行处理。
此外,如果想要与其他管理的配置信息结合,或者希望进行交互式分析时逐步细化,我认为使用日志数据可视化工具会很好。

今回は、ElasticSearchとKibanaを使ってVulsのログを可視化したいと思います。

将Vuls JSON批量插入到Elasticsearch中。

我們將使用在之前的「將Vuls日誌轉換成CSV並在Excel中可視化的方法」中使用的node.js腳本。

GitHub网址:https://github.com/usiusi360/vuls-log-converter

请参考安装方法。

准备ElasticSearch

为了节省时间,我们这次使用了Amazon Elasticsearch Service。创建时的参数采用了以下的最小配置。

Elasticsearch版本:2.3
实例数量:1
实例类型:t2.micro.elasticsearch
存储类型:EBS
EBS卷类型:通用型(SSD)
EBS卷大小:10GB
访问策略:「允许从特定IP访问域名」

顺便提一下,这次只是根据IP地址进行过滤。
由于时间不够,vuls-log-converter并没有进行IAM认证。将来如果有兴趣的话,可能会考虑做这方面的改进。

进行

通过使用”-i”参数指定包含Vuls输出的JSON文件的文件夹,通过使用”-e”参数指定ElasticSearch的终端节点。当指定输入文件夹时,会将其中的JSON文件进行转换,并直接批量插入ElasticSearch中。

$ node ./vuls-log-converter.js -t els -i /opt/vuls/results/current/ -e https://search-vuls-hogehoge.ap-northeast-1.es.amazonaws.com/

Kibana – 中国市场最常用的开源数据分析和可视化工具之一。

image

最后

我们可以将Vuls数据导入到ElasticSearch并创建仪表板。通过仪表板,我们可以一眼俯瞰整个系统的状态,使每日的检查变得更加轻松。我强烈推荐这样做。

Vuls 圣诞月历的第5天是jkudo先生。请多关照。

bannerAds