Flume01--double_happy

1.搭建
	三步：下载、解压、配置环境变量

2.下面基于官网进行Flume的学习

Flume：
	RDBMS ==> Sqoop ==> Hadoop    使用FS可以 
	日志：分散在各个服务器上  ??? ===> Hadoop    这里就引出Flume
	
Flume is a distributed（分布式的）, reliable（可靠）, and available service （高可用）
for efficiently *****collecting, aggregating, and moving***** large amounts of log data. 
It has a simple and flexible architecture based on streaming data flows.

collecting	   采集   source
aggregating    聚合   channel （找个地方把采集过来的数据暂存下）
moving         移动   sink

Flume： 就是编写配置文件，组合source、channel、sink三者之间的关系
Agent：就是由source、channel、sink组成
编写flume的配置文件其实就是配置agent的构成

Flume就是一个框架：针对日志数据进行采集汇总，把日志从A地方搬运到B地方去
注意：
	1.flume支持配置 采集的文件进行压缩 以及存储格式 
    2.flume的监控
flume把数据写到hdfs要注意有读写权限

3.如何使用Flume？
		就是配置agent
		flume 的agent 就是本地的一个配置文件

[hadoop@ruozedata001 flume]$ flume-ng
Error: Unknown or unspecified command ''

Usage: /home/hadoop/app/flume/bin/flume-ng <command> [options]...

commands:
  help                      display this help text
  agent                     run a Flume agent
  avro-client               run an avro Flume client
  version                   show Flume version info

global options:
  --conf,-c <conf>          use configs in <conf> directory
  --classpath,-C <cp>       append to the classpath
  --dryrun,-d               do not actually start Flume, just print the command
  --plugins-path <dirs>     colon-separated list of plugins.d directories. See the
                            plugins.d section in the user guide for more details.
                            Default: $FLUME_HOME/plugins.d
  -Dproperty=value          sets a Java system property value
  -Xproperty=value          sets a Java -X option

agent options:
  --name,-n <name>          the name of this agent (required)
  --conf-file,-f <file>     specify a config file (required if -z missing)
  --zkConnString,-z <str>   specify the ZooKeeper connection to use (required if -f missing)
  --zkBasePath,-p <path>    specify the base path in ZooKeeper for agent configs
  --no-reload-conf          do not reload config file if changed
  --help,-h                 display help text

avro-client options:
  --rpcProps,-P <file>   RPC client properties file with server connection params
  --host,-H <host>       hostname to which events will be sent
  --port,-p <port>       port of the avro source
  --dirname <dir>        directory to stream to avro source
  --filename,-F <file>   text file to stream to avro source (default: std input)
  --headerFile,-R <file> File containing event headers as key/value pairs on each new line
  --help,-h              display help text

  Either --rpcProps or both --host and --port must be specified.

Note that if <conf> directory is specified, then it is always included first
in the classpath.

4.实战进行简单的学习  ---引出
	这个需求1 看不懂没有关系 下面会有具体的知识讲解  
	
需求1：使用Flume从指定的端口中获取数据，输出到控制台
分析：Agent的选型问题
	Source： nc
	Channel: memory
	Sink:    logger

# 定义Agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 定义Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = ruozedata001
a1.sources.r1.port = 44445

# 定义Channel
a1.channels.c1.type = memory

# 定义Sink
a1.sinks.k1.type = logger

# 定义配置关系
a1.sinks.k1.channel = c1
a1.sources.r1.channels = c1

命令解释：可以再上面的flume-ng 查看具体的意思

flume-ng agent \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file /home/hadoop/script/flume/nc-mem-logger.conf\（就是编写agent的一个配置文件）
-Dflume.root.logger=INFO,console \      **打印日志到控制台
-Dflume.monitoring.type=http \
-Dflume.monitoring.port=34343    **在本机加上这个端口号可以查看一些东西（metrics）为之后监控做准备。

启动之后看生成的日志里有 reloading 它代表不需要重启（就是你改了flume的agent内容，它会重加载不需要kill掉重启flume）

日志里面会有event
Event: 就是一条数据  是数据传输的最小单元 event从source到channel到sink

执行顺序： 先开启flume的哈 
1.执行命令：
	flume-ng agent \
	--name a1 \
	--conf-file /home/hadoop/script/flume/nc-mem-logger.conf \
	--conf $FLUME_HOME/conf \
	-Dflume.root.logger=INFO,console \
	-Dflume.monitoring.type=http \
	-Dflume.monitoring.port=34343
2.开启telnet 
telnet ruozedata001 44445

eg：
Event: { headers:{} body: 72 75 6F 7A 65 64 61 74 61 0D                   ruozedata. }
Event：headers + body(字节数组))(存的是真正的数据）

未完待续。。。下一节介绍Flume的使用