概况

Kafka 0.9+增加了一个新的特性Kafka Connect,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型，通过connectors可以将大数据从其它系统导入到Kafka中，也可以从Kafka中导出到其它系统。Kafka Connect可以将完整的数据库注入到Kafka的Topic中，或者将服务器的系统监控指标注入到Kafka，然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等，比如数据库、Elastic Search、Apache Ignite等。

Kafka Connect特性包括：

• Kafka connector通用框架,提供统一的集成API
• 同时支持分布式模式和单机模式
• REST 接口，用来查看和管理Kafka connectors
• 自动化的offset管理，开发人员不必担心错误处理的影响
• 分布式、可扩展
• 流/批处理集成

KafkaCnnect有两个核心概念：Source和Sink。 Source负责导入数据到Kafka，Sink负责从Kafka导出数据，它们都被称为Connector。

Kafka connect概念

Kafka connect的几个重要的概念包括：connectors、tasks、workers和converters。

• Connectors: 通过管理任务来协调数据流的高级抽象
• Tasks: 数据写入kafka和数据从kafka读出的实现
• Workers: 运行connectors和tasks的进程
• Converters: kafka connect和其他存储系统直接发送或者接受数据之间转换数据
• Transforms: 用在connect消费或者产生的记录上的简单转换逻辑
• Dead Letter Queue: Connect如何处理connector错误

参考

Kafka Connect简介与部署 – Anthon (code-monkey.top)