Flume03--double_happy

如果整个流程的事务不能保证好的话 会产生两个问题？
1.数据丢失   
2.数据会重复
为什么丢失？为什么重复？ 之后章节演示

三个 agent 配置
    待续。。。。

总结：
	1.多个Agent进行传输 选择
			nc：avro sink
			taildir：avro sink
			source: avro source
	2.A1 和A2可能是不同业务的数据 格式也可能是不一样的 可以按这个图接 ，接到A3之后是要加一些标识的，明确知道日志是什么类型的，
	通过event进来之后进过一系列拦截器链可以设置header信息来区别日志

Sink Processors：
	1.load balance
	2.failover

配置待续。。。

总结：
	1.A0需要sink组

总结：
	1.优先级高的sink发送数据 另一个sink是不发送数据的      值越大的优先级越大
		优先级高的sink挂掉之后会走优先级低的sink

QA1：谈谈你在工作中针对Flume的调优有哪些
	Source：
		文件：TailDir   注意 默认是不支持递归的     
		     
		网络：avro
	Channel：
		Memory
		File
		capacity
		transactionCapacity
		source/sink: batchSize
		
	Sink：配置sink的个数多和少  吞吐量的问题 
	不是越多越好 每一个sink都是jvm进程 
	sink的batchsize决定出来多少数据
	
	Flume Agent架构 ：
		failover和load balance  什么场景可用性最高 
		一起用可以 但是对机器要求也高 ，退而求其次 ，但是failover是一定要配置的

QA2：谈谈你们使用Flume过程中时如何监控的
    主要是监控 channel    如果channle数据多了 说明数据挤压 sink说明出问题了
    如果sink出现问题了，意味着source 疯狂的往channle里入数据，但是这时候没有sink消费channel数据 
    那么 channle早晚会爆掉，随之 source也写不进去了。
Ganglia，json-》es->kabanna展示 都可以做监控

1. TailDir   Source：
	注意：
	如果某一个目录下面或者某几个目录下面的数据文件非常非常多，
	1.最好增加filegroups的个数，这样吞吐量肯定能上去 因为你处理的是不同的文件
     2.对于source 来讲里面是有一个 batchsize的 （参考值 10000-50000）
         Max number of lines to read and send to the channel at a time.

2. channel
      选择memory 和file 看你能不能接受丢少量数据 mem达到99.99%才会丢
      不要采用kafka channel 一个flume框架就可以了 模型当中你又引用一个kafka进来，出问题的可能性成指数增长 
      
      capacity（channel里能存多少个event）
      		The maximum number of events stored in the channel
	  transactionCapacity（souce往channle里塞多少数据 和 sink从channle里取多少数据  事务的时候）
	  		The maximum number of events the channel will take from a source or give to a sink per transaction

transactionCapacity  是大于capacity