跳至主要內容
监控调优

调优建议

  • 将Flume进程的内存大小设置为2GB左右，太小会导致频繁JVM GC。

  • 在单节点上启动多个Flume进程时，可以将conf目录拷贝多份，然后修改其中的每一个log4j2.xml，为每一个进程都创建一份单独的日志文件。

添码座原创大约 2 分钟中间件Flume中间件Flume
数据上传至HDFS

上传本地文件

首先创建Flume的配置文件。

> cd /home/work/flume-1.11.0/conf
> vi upload-file-to-hdfs.conf

# 指定source和sink到channel
b1.sources = r1
b1.channels = c1
b1.sinks = k1

# 配置source
b1.sources.r1.type = spoolDir
b1.sources.r1.spoolDir = /home/work/flume-1.11.0/test

# 配置channel
b1.channels.c1.type = file
b1.channels.c1.checkpointDir = /home/work/flume-1.11.0/checkpoint
b1.channels.c1.dataDirs = /home/work/flume-1.11.0/data

# 配置sink
b1.sinks.k1.type = hdfs
b1.sinks.k1.hdfs.path = hdfs://hadoop:9000/flume/events
b1.sinks.k1.hdfs.filePrefix = fe-
b1.sinks.k1.hdfs.writeFormat = Text
b1.sinks.k1.hdfs.fileType = DataStream
b1.sinks.k1.hdfs.rollInterval = 3600
b1.sinks.k1.hdfs.rollSize = 134217728
b1.sinks.k1.hdfs.rollCount = 0

# 绑定source和sink到channel
b1.sources.r1.channels = c1
b1.sinks.k1.channel = c1
添码座原创大约 3 分钟中间件Flume中间件FlumeHDFS
安装部署

Flume的官方镜像在执行docker pull apache/flume命令时出现下面的错误。

Using default tag: latest
Error response from daemon: manifest for apache/flume:latest not found: manifest unknown: manifest unknown
添码座原创大约 2 分钟中间件Flume中间件Flume
什么是Flume？

三大核心组件

官方对Flume的定义有这么几个关键点。

  • 一种高可用、高可靠的分布式系统。

  • 实现海量日志的高效采集、聚合和传输。

  • 具有基于流的数据架构。

  • 具有负载均衡机制、故障转移和恢复机制。

  • 具有简单可扩展的数据模型。

添码座原创大约 3 分钟中间件Flume中间件Flume