简述
Apache-Airflow 是Airbnb开源的一款数据流程工具，已经在Apache孵化成功，成为Apache的顶级项目。以非常灵活的方式来支持数据的ETL过程，同时还支持非常多的插件来完成诸如HDFS监控、邮件通知等功能。Airflow支持单机和分布式两种模式，支持Master-Slave模式，支持Mesos等资源调度，有非常好的扩展性。
Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和管理。
特性
自带web管理界面，易上手；
业务代码和调度代码完全解耦；
通过python代码定义子任务，并支持各种Operate操作器，灵活性大，能满足用户的各种需求；
python开源项目，支持扩展operate等插件，便于二次开发；
类似的工具有akzban，quart等；
架构
相关导航
暂无评论...