数据同步
Kafka Connect

Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。

商务合作
4.5
(2)

概况

Kafka 0.9+增加了一个新的特性Kafka Connect,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过connectors可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。Kafka Connect可以将完整的数据库注入到Kafka的Topic中,或者将服务器的系统监控指标注入到Kafka,然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等,比如数据库、Elastic Search、Apache Ignite等。

Kafka Connect特性包括:

  • Kafka connector通用框架,提供统一的集成API
  • 同时支持分布式模式和单机模式
  • REST 接口,用来查看和管理Kafka connectors
  • 自动化的offset管理,开发人员不必担心错误处理的影响
  • 分布式、可扩展
  • 流/批处理集成

KafkaCnnect有两个核心概念:Source和Sink。 Source负责导入数据到Kafka,Sink负责从Kafka导出数据,它们都被称为Connector。

Kafka Connect

Kafka connect概念

Kafka connect的几个重要的概念包括:connectors、tasks、workers和converters。

  • Connectors: 通过管理任务来协调数据流的高级抽象
  • Tasks: 数据写入kafka和数据从kafka读出的实现
  • Workers: 运行connectors和tasks的进程
  • Converters: kafka connect和其他存储系统直接发送或者接受数据之间转换数据
  • Transforms: 用在connect消费或者产生的记录上的简单转换逻辑
  • Dead Letter Queue: Connect如何处理connector错误

参考

Kafka Connect简介与部署 – Anthon (code-monkey.top)

这个大数据组件是否好用呢?

点击星号为它评分!

平均评分 4.5 / 5. 投票数: 2

到目前为止还没有投票!成为第一位评论此组件。

相关导航

暂无评论

暂无评论...