数据同步
Chunjun

FlinkX是一个基于Flink的批流统一的数据同步工具

商务合作
5
(1)

简介

FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架,实现了多种异构数据源之间高效的数据迁移。

Chunjun是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等。同时,Chunjun也是支持原生FlinkSql所有语法和特性的计算框架并且提供了大量案例。Chunjun目前包含下面这些特性::

  • 大部分插件支持并发读写数据,可以大幅度提高读写速度;

  • 部分插件支持失败恢复的功能,可以从失败的位置恢复任务,节约运行时间;失败恢复

  • 关系数据库的Source插件支持间隔轮询功能,可以持续不断的采集变化的数据;间隔轮询

  • 部分数据库支持开启Kerberos安全认证;Kerberos

  • 可以限制source的读取速度,降低对业务数据库的影响;

  • 可以记录sink插件写数据时产生的脏数据;

  • 可以限制脏数据的最大数量;

  • 支持多种运行模式;

  • 同步任务支持执行flinksql语法的transformer操作;

  • sql任务支持和flinkSql自带connectors共用

FlinkX目前支持下面这些数据库:

Database Type Reader Writer
Batch Synchronization MySQL doc doc
Oracle doc doc
SqlServer doc doc
PostgreSQL doc doc
DB2 doc doc
GBase doc doc
ClickHouse doc doc
PolarDB doc doc
SAP Hana doc doc
Teradata doc doc
Phoenix doc doc
达梦 doc doc
Greenplum doc doc
KingBase doc doc
Cassandra doc doc
ODPS doc doc
HBase doc doc
MongoDB doc doc
Kudu doc doc
ElasticSearch doc doc
FTP doc doc
HDFS doc doc
Carbondata doc doc
Stream doc doc
Redis doc
Hive doc
Stream Synchronization Kafka doc doc
EMQX doc doc
RestApi doc doc
MySQL Binlog doc
MongoDB Oplog doc
PostgreSQL WAL doc
Oracle LogMiner doc
Sqlserver CDC doc

这个大数据组件是否好用呢?

点击星号为它评分!

平均评分 5 / 5. 投票数: 1

到目前为止还没有投票!成为第一位评论此组件。

相关导航

暂无评论

暂无评论...