博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
flume的安装使用
阅读量:5774 次
发布时间:2019-06-18

本文共 1508 字,大约阅读时间需要 5 分钟。

hot3.png

下载flume:

wget

解压了就可以使用了:

配置文件:

agent1.channels = ch1agent1.sources = avro-source1agent1.sinks = log-sink1agent1.channels.ch1.type = memory# Define an Avro source called avro-source1 on agent1 and tell it# to bind to 0.0.0.0:41414. Connect it to channel ch1.agent1.sources.avro-source1.channels = ch1agent1.sources.avro-source1.type = avroagent1.sources.avro-source1.bind = 0.0.0.0agent1.sources.avro-source1.port = 41414# and connect it to the other end of the same channel.agent1.sinks.log-sink1.type = file_rollagent1.sinks.log-sink1.channel = ch1agent1.sinks.log-sink1.sink.directory = /app/flume/logs

配置文件的知识可以参考以下网页:

然后服务器端就可以启动了:

nohup ./bin/flume-ng agent -n agent1 -c conf -f conf/flume.conf  > 1.log &

这样,就启动了一个服务器,在41414端口;

------------------客户端------------------

安装方式一样:

 配置文件:

agent.sources = tailsource-tomcatagent.channels = memoryChannel-1agent.sinks = remotesinkagent.sources.tailsource-tomcat.type = execagent.sources.tailsource-tomcat.command = tail -F /app/yldsys/tomcat/logs/catalina.outagent.sources.tailsource-tomcat.channels = memoryChannel-1agent.channels.memoryChannel-1.type = memoryagent.channels.memoryChannel-1.keep-alive = 10agent.channels.memoryChannel-1.capacity = 100000agent.channels.memoryChannel-1.transactionCapacity =100000agent.sinks.remotesink.type = avroagent.sinks.remotesink.hostname = 127.0.0.1agent.sinks.remotesink.port = 41414agent.sinks.remotesink.channel = memoryChannel-1

通过一个exec工具,将日志tail出来,然后发送到avro对应到收集器中。

转载于:https://my.oschina.net/u/1462124/blog/609979

你可能感兴趣的文章
java工程师linux命令,这篇文章就够了
查看>>
关于React生命周期的学习
查看>>
webpack雪碧图生成
查看>>
搭建智能合约开发环境Remix IDE及使用
查看>>
Spring Cloud构建微服务架构—服务消费基础
查看>>
RAC实践采坑指北
查看>>
runtime运行时 isa指针 SEL方法选择器 IMP函数指针 Method方法 runtime消息机制 runtime的使用...
查看>>
LeetCode36.有效的数独 JavaScript
查看>>
Scrapy基本用法
查看>>
PAT A1030 动态规划
查看>>
自制一个 elasticsearch-spring-boot-starter
查看>>
软件开发学习的5大技巧,你知道吗?
查看>>
java入门第二季--封装--什么是java中的封装
查看>>
【人物志】美团前端通道主席洪磊:一位产品出身、爱焊电路板的工程师
查看>>
一份关于数据科学家应该具备的技能清单
查看>>
机器学习实战_一个完整的程序(一)
查看>>
Web框架的常用架构模式(JavaScript语言)
查看>>
如何用UPA优化性能?先读懂这份报告!
查看>>
这些Java面试题必须会-----鲁迅
查看>>
Linux 常用命令
查看>>