简介

FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。

Chunjun是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。同时，Chunjun也是支持原生FlinkSql所有语法和特性的计算框架，并且提供了大量案例。Chunjun目前包含下面这些特性：：

• 大部分插件支持并发读写数据，可以大幅度提高读写速度；

• 部分插件支持失败恢复的功能，可以从失败的位置恢复任务，节约运行时间；失败恢复

• 关系数据库的Source插件支持间隔轮询功能，可以持续不断的采集变化的数据；间隔轮询

• 部分数据库支持开启Kerberos安全认证；Kerberos

• 可以限制source的读取速度，降低对业务数据库的影响；

• 可以记录sink插件写数据时产生的脏数据；

• 可以限制脏数据的最大数量；

• 支持多种运行模式；

• 同步任务支持执行flinksql语法的transformer操作；

• sql任务支持和flinkSql自带connectors共用；

FlinkX目前支持下面这些数据库：