标签: Flume

> cd /home/work/flume-1.11.0/conf
> vi upload-file-to-hdfs.conf

# 指定source和sink到channel
b1.sources = r1
b1.channels = c1
b1.sinks = k1

# 配置source
b1.sources.r1.type = spoolDir
b1.sources.r1.spoolDir = /home/work/flume-1.11.0/test

# 配置channel
b1.channels.c1.type = file
b1.channels.c1.checkpointDir = /home/work/flume-1.11.0/checkpoint
b1.channels.c1.dataDirs = /home/work/flume-1.11.0/data

# 配置sink
b1.sinks.k1.type = hdfs
b1.sinks.k1.hdfs.path = hdfs://hadoop:9000/flume/events
b1.sinks.k1.hdfs.filePrefix = fe-
b1.sinks.k1.hdfs.writeFormat = Text
b1.sinks.k1.hdfs.fileType = DataStream
b1.sinks.k1.hdfs.rollInterval = 3600
b1.sinks.k1.hdfs.rollSize = 134217728
b1.sinks.k1.hdfs.rollCount = 0

# 绑定source和sink到channel
b1.sources.r1.channels = c1
b1.sinks.k1.channel = c1

添码座原创大约 3 分钟

安装部署

Flume的官方镜像在执行docker pull apache/flume命令时出现下面的错误。

Using default tag: latest
Error response from daemon: manifest for apache/flume:latest not found: manifest unknown: manifest unknown

添码座原创大约 2 分钟

什么是Flume？

三大核心组件

官方对Flume的定义有这么几个关键点。

一种高可用、高可靠的分布式系统。
实现海量日志的高效采集、聚合和传输。
具有基于流的数据架构。
具有负载均衡机制、故障转移和恢复机制。
具有简单可扩展的数据模型。

添码座原创大约 3 分钟