当前位置:首页 > 开发 > 开源软件 > 正文

Flume入门教程-简单案例

发表于: 2015-06-09   作者:corejava2008   来源:转载   浏览次数:
摘要: Flume入门教程-简单案例   1.下载安装   官方网站:http://flume.apache.org/ http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz tar -zxvf apache-flume-1.6.0-bin.tar.gz    

Flume入门教程-简单案例

 

1.下载安装

 

官方网站:http://flume.apache.org/
http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz
tar -zxvf apache-flume-1.6.0-bin.tar.gz

 

 

2.修改配置

重命名flume-conf.properties.template文件为simple.conf,并修改为以下内容

 

Agent名称定义为agent. 
Source:可以理解为输入端,定义名称为s1
channel:传输频道,定义为c1,设置为内存模式
sinks:可以理解为输出端,定义为sk1,

agent.sources = s1  
agent.channels = c1
agent.sinks = sk1

#设置Source的内省为netcat 端口为5678,使用的channel为c1
agent.sources.s1.type = netcat
agent.sources.s1.bind = localhost
agent.sources.s1.port = 5678
agent.sources.s1.channels = c1

#设置Sink为logger模式,使用的channel为c1
agent.sinks.sk1.type = logger
agent.sinks.sk1.channel = c1
#设置channel信息
agent.channels.c1.type = memory #内存模式
agent.channels.c1.capacity = 1000   
agent.channels.c1.transactionCapacity = 100 #传输参数设置。

 

 

3.启动Agent

bin/flume-ng agent -c conf -f conf/simple.conf --name agent -Dflume.root.logger=INFO,console

 

4.发送测试数据

 

telnet localhost 5678
hello,world.

 

5.验证数据接收

验证flume是否接收到了数据

 

 

6.简单优化配置:
修改flume-env.sh,设置JDK版本,Flume1.6.0需要JDK1.6+
export JAVA_HOME=/opt/jdk1.7/jdk1.7.0_45/

设置内存相关参数
JAVA_OPTS="-Xms8192m -Xmx8192m -Xss256k -Xmn2g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

 

7.其他配置案例

 使用命令行模式Tail读取日志文件配置

agent.sources = s1
agent.channels = c1
agent.sinks = sk1

#设置Tail方式跟踪日志内容
agent.sources.s1.type = exec
agent.sources.s1.command = tail -F /usr/local/logstash-1.4.2/new_log.2015-03-26.txt 
agent.sources.s1.channels = c1

agent.sinks.sk1.type = logger
agent.sinks.sk1.channel = c1

#In Memory !!!
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10004
agent.channels.c1.transactionCapacity = 100

 

设置跟踪目录方式

 

agent.sources = s1
agent.channels = c1
agent.sinks = sk1

#设置spooldir
agent.sources.s1.type = spooldir
agent.sources.s1.spoolDir = /usr/local/logstash-1.4.2/logs
agent.sources.s1.fileHeader = true

agent.sources.s1.channels = c1
agent.sinks.sk1.type = logger
agent.sinks.sk1.channel = c1

#In Memory !!!
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10004
agent.channels.c1.transactionCapacity = 100

 

 

 

Flume入门教程-简单案例

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Flume概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中
========================================================================= 一、Flume简介 =====
Flume概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中
Flume是一个分布式的海量数据收集框架. Flume框架流程图 Channel是缓存的数据,如果Sink传送给了HDF
5 flume
flume 1.4的介绍及使用示例 转载的文章 本文将介绍关于flume 1.4的使用示例,如果还没有安装flume的
6 Flume
分布式日志收集系统 Flume知识点: Event 是一行一行的数据 1.flume是分布式的日志收集系统,把收集
package cn.itcast.mybatis.domain; public class User { private String id; private String name;
flume地址: 0) 官网地址: http://flume.apache.org/ 1)官网学习: http://flume.apache.org/docum
1,环境准备: 我用的STS ,有的版本可能没有Spring Roo插件,这个需要安装!还需要有maven环境支持
JavaSE使用JPA简单案例: 使用的JPA提供者是openjpa. 首先,新建一个普通的Java工程; 然后,导入op
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号