Flume
概念
Flume是一个分布式的支持高可用的用于海量日志的收集,聚合,移动的框架.
重要概念
0.http://localhost/b.html|b.html|页面B|UTF-8|1280x720|24-bit|zh-cn|0|1||0.61233929004946|http://localhost/a.html|Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36|82724181678237620026|5014307821_25_1620263329604|0:0:0:0:0:0:0:1
{“headers”:“info”,“body”:“public class Person{
public static void main(){
System.out.println(“Hello world”);
}
}”}
1.Event:事件, {“headers”:“info”,“body”:“http://localhost/b.html|b.html|页面B|UTF-8|1280x720”}
Flume在接收到日志数据之后,会先将其封装为Event.然后再进行传输.
2.Agent:Flume是分布式的,每一台服务器都叫做一个Agent代理
3.Source: 数据源, Flume接受数据的组件,接收到数据之后会先将其封装成Event(一条日志数据封装为一个Event)
4.Channel,缓存,用于临时保存数据(Event),起到缓冲的作用.
5.Sink,数据输出,制定数据输出位置,并发送数据.
Flume进阶
多级流动
扇入
扇出
DAG:有向无环图
