数据采集
Streamsets

Streamsets是一款用于数据集成、处理及流转的开源平台

标签:
商务合作
5
(2)

介绍

Streamsets是一款用于数据集成、处理及流转的开源平台,它提供了一个web操作界面,在该界面中业务人员可以不需要编写复杂的代码,只需要通过拖拽和连线的方式,即可从多项不同的数据源中(如kafak、rabbitmq、hdfs、mysql、redis)创建批处理和流式数据流,实现数据的快速获取、操作及写入,提高业务处理速度,实现对数据流的统一管理。

概念
Pipeline:一个完整的数据操作流程,包括从Origins中获取数据、在Processors中处理数据、在
Destinations接收到传输过来的数据,一个Pipeline中有且最多拥有一个Origins。

Origins: 数据来源,Pipeline的起始阶段,表示Pipeline中数据的原始产生者,目前3.8.0版本支持Kafka、Elasticsearch、HDFS、JDBC、MongoDB、HTTP Server、Amazon S3、Pulsar、RabbitMQ、Redis等数十种数据来源;

Processors: 数据处理操作,支持数据分流、加密、数据筛选、数据删除等多种操作,可以根据需求自由组合操作;

Destinations:数据接收端,Pipeline的结束阶段,接收Processors中处理好的数据,目前3.8.0版本支持Kafka、Elasticsearch、Flume、Cassandra、HDFS、HBASE、InfluxDB、Kinesis、Kudu、MongoDB、Amazon S3、Pulsar、RabbitMQ、Hive、Solr、Splunk、Redis等数十种数据末端;

Executors:主要用于Destinations接收数据满足一定条件后自动触发相应的任务,作为整个Pipeline操作过程中的一个补充,例如在目标关闭时移动完全写入的文件。

界面预览

Streamsets

这个大数据组件是否好用呢?

点击星号为它评分!

平均评分 5 / 5. 投票数: 2

到目前为止还没有投票!成为第一位评论此组件。

相关导航

暂无评论

暂无评论...