数据同步
Sqoop

Sqoop是一款在Hadoop与传统的数据库间进行数据同步的开源工具

商务合作
3.5
(2)

简介

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,PostgreSQL等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

Sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。
核心的功能有两个:导入、迁入;导出、迁出
导入数据:MySQL,Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统
导出数据:从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具,和 HDFS,Hive 相比,并没有什么高深的理论。

Sqoop:本质就是迁移数据, 迁移的方式:就是把sqoop的迁移命令转换成MR程序
Hive:本质就是执行计算,依赖于HDFS存储数据,把SQL转换成MR程序

这个大数据组件是否好用呢?

点击星号为它评分!

平均评分 3.5 / 5. 投票数: 2

到目前为止还没有投票!成为第一位评论此组件。

相关导航

暂无评论

暂无评论...