(1). Flume架构图
(2). Agnet
Agent是一个JVM进程,它以事件的形式将数据从源头送至目的地.
Agent主要有3个部分,Source,Channel,Sink(3). Source
Source是负责接受数据到Flume Agent的组件,Source组件可以处理各种类型,各种格式的日志数据.
Source包括:avro/thrift/exec/jms/spooling directory/netcat/sequence generator/syslog/http/legacy(4). Sink
Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统,或者发送到另一个Flume Agent.
Sink组件目的地包括:HDFS/logger/avro/thrift/ipc/file/HBase/solr/自定义(5). Channel
Channel是位于Source与Sink之间的缓冲区,因此,Channel允许Source和Sink运作在不同的速率上,Channel是线程安全的,可以同时处理几个Source的写入操作和几个Sink的读取操作.
Flume自带两种Channel:Memory Channel/File Channel/Kafka Channel
Memory Channel是内存的队列,在不需要关心数据丢失的情景下适用.
File Channel是将所有事件写到磁盘,因此程序关闭或非正常关闭的情况下不会丢失数据.(6). Event
传输单元,Flume数据传输的基本单元,以Event的形式将数据从源头送到目的地.
Event由Header和Body两部份组成,Header用来存放该Event的一些属性,其数据结构为:K-V结构,Body用来存放该条数据,形式为字节数组.
