标签: 中间件 | 添码座

安装配置

FileBeat是一款专用于采集.log文件的轻量级日志采集器。

因为FileBeat本身已经是比较轻量级的工具了，所以就不使用Docker，而是直接在本机部署。

添码座原创大约 2 分钟

编译安装

Azkaban是Linkedin开源的轻量级批量任务流调度器（和它类似的还有Oozie，但它是重量级的）。

添码座原创大约 3 分钟

Zeppelin是一款基于Web的数据可视化中间件，它可以支持多种语言和大数据平台的接入（例如，它默认就支持Spark、Flink和Python 3.9）。

添码座原创大约 2 分钟

和Sqoop一样，Canal也可以将数据从关系型数据库（RDBMS）导入到Hadoop这种大数据系统中，只不过Canal是阿里巴巴开源的，而且更多侧重于对MySQL数据库的Binlog（日志）文件进行解析，提供增量的数据订阅和消费，而且它一直在更新，这一点比Sqoop要好很多。

添码座原创大约 3 分钟

什么是Sqoop？

Sqoop是一款开源的中间件，它的主要作用是在关系型数据库（RDBMS）（例如MySQL）和大数据系统（例如Hadoop）之间进行数据传输。

添码座原创大约 6 分钟

Kafka集成Flume

Kafka集成Flume主要有两种应用方式。

Flume将采集到的数据实时写入到Kafka。
Flume从Kafka中消费数据，然后保存到HDFS。

添码座原创大约 3 分钟

JVM参数调优

Kafka的Broker进程默认使用1GB内存。

如何实施JVM调优，可以参考我写的《Java深度探索：开发基础、高级技术与工程实践》中《第4章 JVM GC》的内容。

添码座原创大约 3 分钟

生产和消费消息

先引入依赖。

<dependencies>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>3.7.1</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>2.0.13</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>2.0.13</version>
    </dependency>
</dependencies>

添码座原创大约 2 分钟

Kafka高级特性

可以通过Kafka的配置文件server.properties来扩展它更多的高级功能。

Broker

server.properties中配置Broker的完整参数说明。

添码座原创大约 6 分钟

一个简单的聊天群

先创建一个名为qq的Topic。

> ./bin/kafka-topics.sh --create --bootstrap-server 172.16.185.176:9092 --replication-factor 1 --partitions 2 --topic qq
Created topic qq.

添码座原创小于 1 分钟