今天小编给大家带来的是flume如何保证数据的完整性，希望能帮助到大家！
工具/原料
1
flume
2
CP
方法/步骤
1
如果要构建分层的代理结构，必然牵扯到数据的网络传输和分发问题。所以第一层代理需要某种特殊的sink来进行网络发送事件，再加上相应的source来接受这些事件。
2
Avro sink 通过Avro RPC将事件发送给运行在另一个Flume代理上的其他Avro。事实上Avro的sink和source不提供写入和读取Avro文件的能力，它们仅用于代理层是事件分发，并且为了做到这一点，它们需要通过Avro RPC来进行通信。这里要区别Avro文件，如果想将事件写入到Avro文件，则可以使用HDFS sink实现。
3
如果第二层的agent停止运行，那么事件将被保存到第一层agent的channel中，等到第二层agent的重新启动。
4
但是channel的存储是由限制的，如果第一层agent的channel已经填满数据时，第二层agent还没启动恢复运行，那么任何新采集的事件都会丢失。
5
默认情况下，file channel能够恢复的事件数量不超过100万条（可以通过capacity属性来设置，实际要设置的大一些）,此外，当检查点checkpointdir的可用磁盘空间小于500M时(minimumRequiredSpace属性设置)，也将停止接收事件，造成新事件的丢失。
注意事项
1
网络虽好，但要注意劳逸结合哦！
2
如果是青少年，小编在这里提示大家千万不能沉迷网络！
下一篇：简笔画大象怎么画