logstash+kafka 文件日志收集

logstash和kafka的安装和使用

http://blog.csdn.net/yesuhuangsi/article/details/51954346

logstash 配置：

input { file { path => "/tmp/logFile/*.log" type=> "string" } } filter { } output{ kafka { bootstrap_servers => "10.14.18.10:9092" topic_id => "test-topic" } }

指定配置执行logstash:

/opt/logstash/bin/logstash agent -f /etc/logstash/conf.d/test.conf

为了方便测试，output改成如下可以在命令行看到实时的变更。

output { stdout {} }

都说logstash性能有问题， 吞吐慢一点应该可以解决当前的使用场景，每天可能一两次传输几十M的数据，这是我能想到最快的持续解决方案了。