Flume02--double_happy

agent_name: 配置的agent的名称
a1：就是agent的名称（名字随便起的哈）

# Name the components on this agent
<agent_name>.sources = <source_name>
<agent_name>.sinks = <sink_name>
<agent_name>.channels = <channel_name>

<agent_name>.sources.<source_name>.type = xx
<agent_name>.sinks.<sink_name>.type = yyy
<agent_name>.channels.<channel_name>.type = zzz

<agent_name>.sources.<source_name>.channels = <channel_name>
<agent_name>.sinks.<sink_name>.channel = <channel_name>

从指定的网络端口上采集日志到控制台输出

source：
	avro（是rpc服务框架）
	exec （是监控一个文件） ： tail -F  xx.log（大F和小f有区别）后面只能接一个文件(小f是动态的)
	Spooling Directory: 能监控一个文件夹（文件夹下不能有子文件夹的）
	Taildir（是既能监控文件又能监控文件夹）**
	netcat
sink：
	HDFS
	logger（写到控制台）
	avro : 配合avro source使用
	kafka	
channel：只是数据的存储不涉及到数据的缓存
	memory
	file
Agent：各种组合source、channel、sink之间的关系

eg：为了学习   这个思路可以借鉴      生产上直接用 Taildir
   把一个文件中新增的内容收集到HDFS上去
	exec - memory - hdfs
    一个文件夹
	spooling - memory - hdfs
    文件数据写入kafka
	exec - memory - kafka

需求1：采集指定文件的内容到HDFS
技术选型：exec - memory - hdfs

agent  待续。。

需求1总结：
batchSize :积累多少个event 刷到hdfs上去
fileType：默认是secqueceFile   ,DataStream可以理解为文本（没有压缩的）
writeFormat:默认是Writable

hdfs上一个128m的文件和1kb文件都各自占用一个block，而一个block有一个元数据信息，
元数据多了会占用namenode的内存，元数据过多会导致namenode挂掉 （所以注意 设置文件多大合适呢？）

需求2：采集指定文件夹的内容到控制台
选型：spooling - memory - logger

agent  待续。。

需求2总结：
如果监控的文件夹下进来一个文件，那个文件处理完以后，会在那个文件后面加一个COMPLETED标识 ，
但是为什么同一个文件进去两次flume就挂掉了呢 ， 在spooling监控的文件夹下的文件如果被处理过以后，
再给这个文件内容追加写或者改就会报错，如果处理过后的文件的文件名在后面又被用到了，也会报错。
也就是文件名不能有重复的
如果agent里fileHeader参数设置为true，默认event 里的header的key就是文件路径+文件名