概览

使得 Splunk 能够在 Kafka 推送的数据中拉取数据。

构成

EC2：m3.large
Kafka：2.11-0.10.2.0
Splunk：Enterprise 6.6.2
为了简单起见，我在一台服务器上搭建了这些服务，只是为了测试其运行情况。

安装

关于安装，请参考kafka官方文档。
https://kafka.apache.org/quickstart

Splunk方面可以参考这篇文章。
http://qiita.com/saeoshi/items/d1db4ca5c9af79e04fed

启动zk

./bin/zookeeper-server-start.sh config/zookeeper.properties &
启动配置为config/zookeeper.properties的Zookeeper服务器。

卡夫卡启动

使用以下命令在本机上运行Kafka服务器：
./bin/kafka-server-start.sh config/server.properties

主题制定

使用本地主机的9092端口连接到Kafka的测试主题的控制台生产者脚本：bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test。

测试消息发送

./bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test > aaaa

Splunk的配置設定

下载适用于Kafka消费者的模块输入。

安装App。

通过网络界面管理应用程序→从文件安装应用程序，将之前下载的文件上传。

设置导入

选择Data inputs→Local input的kafka消息。
设置如下所示。

我来试一试

我暂时先把下面的dmesg发送过去试试看。

[5.113147] 审计：类型=1400 审计（1499923805.268:6）：apparmor=”STATUS” 操作=”profile_load” profile=”unconfined” name=”/usr/bin/lxc-start” pid=646 comm=”apparmor_parser”
[5.113770] 审计：类型=1400 审计（1499923805.268:7）：apparmor=”STATUS” 操作=”profile_load” profile=”unconfined” name=”/sbin/dhclient” pid=645 comm=”apparmor_parser”
[5.113777] 审计：类型=1400 审计（1499923805.268:8）：apparmor=”STATUS” 操作=”profile_load” profile=”unconfined” name=”/usr/lib/NetworkManager/nm-dhcp-client.action” pid=645 comm=”apparmor_parser”
[5.113783] 审计：类型=1400 审计（1499923805.268:9）：apparmor=”STATUS” 操作=”profile_load” profile=”unconfined” name=”/usr/lib/NetworkManager/nm-dhcp-helper” pid=645 comm=”apparmor_parser”
[5.113789] 审计：类型=1400 审计（1499923805.268:10）：apparmor=”STATUS” 操作=”profile_load” profile=”unconfined” name=”/usr/lib/connman/scripts/dhclient-script” pid=645 comm=”apparmor_parser”

在Splunk中进行搜索。

可以以这种方式从Splunk端进行搜索。

备忘录

关于主机的设置，需要在config中另行进行设置，稍后再试一下。