Flink CDC就是一个可以从不同数据源中实时读取数据的技术,它既可以全量读取,也可以增量读取。
它的核心原理是监测并捕获数据库的变动(增删改等),将捕获到的数据发送到数据仓库或者数据湖,也可以写入到消息队列(例如Kafka
)供其他服务消费。
引入依赖。
<dependency>
<groupId>com.ververica</groupId>
<artifactId>flink-connector-mysql-cdc</artifactId>
<version>2.3.0</version>
</dependency>