跳至主要內容
FileBeat

安装配置

FileBeat是一款专用于采集.log文件的轻量级日志采集器。

因为FileBeat本身已经是比较轻量级的工具了，所以就不使用Docker，而是直接在本机部署。

添码座原创大约 2 分钟中间件FileBeat中间件FileBeat
Azkaban

编译安装

Azkaban是Linkedin开源的轻量级批量任务流调度器（和它类似的还有Oozie，但它是重量级的）。

添码座原创大约 3 分钟中间件Azkaban中间件Azkaban
Zepplin

Zeppelin是一款基于Web的数据可视化中间件，它可以支持多种语言和大数据平台的接入（例如，它默认就支持Spark、Flink和Python 3.9）。

添码座原创大约 2 分钟中间件Zepplin中间件Zepplin
Canal

和Sqoop一样，Canal也可以将数据从关系型数据库（RDBMS）导入到Hadoop这种大数据系统中，只不过Canal是阿里巴巴开源的，而且更多侧重于对MySQL数据库的Binlog（日志）文件进行解析，提供增量的数据订阅和消费，而且它一直在更新，这一点比Sqoop要好很多。

添码座原创大约 3 分钟中间件Canal中间件Canal
生产和消费消息

先引入依赖。

<dependencies>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>3.7.1</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>2.0.13</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>2.0.13</version>
    </dependency>
</dependencies>
添码座原创大约 2 分钟中间件Kafka中间件Kafka
一个简单的聊天群

先创建一个名为qq的Topic。

> ./bin/kafka-topics.sh --create --bootstrap-server 172.16.185.176:9092 --replication-factor 1 --partitions 2 --topic qq
Created topic qq.
添码座原创小于 1 分钟中间件Kafka中间件Kafka