新一代云原生工作流任务调度平台，分布式易扩展，开箱即用

admin · 发表于 2024-11-4 16:14:59

新一代云原生工作流任务调度平台，分布式易扩展，开箱即用新一代云原生工作流任务调度平台，致力于“解决任务之间错综复杂的依赖关系，让整个数据处理开箱即用”。
一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

主页：项目和工作流概览，包括最新的工作流实例和任务实例状态统计。

工作流定义：通过拖拉拽创建和管理工作流，轻松构建和维护复杂的工作流。

工作流树状图：抽象的树形结构可以更清晰地理解任务之间的关系

数据源：支持管理多种外部数据源，为MySQL、PostgreSQL、Hive、Trino等，并提供统一的数据访问能力。

监控：实时查看master、worker和数据库的状态，包括服务器资源使用情况和负载情况，无需登录服务器即可快速进行健康检查。

功能概述
新一代云原生工作流任务调度平台，致力于“解决任务之间错综复杂的依赖关系，让整个数据处理开箱即用”。

DolphinScheduler 的主要特性如下：

易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes

易于使用，可以通过四种方式创建和管理工作流，包括Web UI、Python SDK、Yaml文件和Open API

高可靠高可用，多主多从的去中心化架构，原生支持横向扩展

高性能，性能比其他编排平台快N倍，每天可支持千万级任务

Cloud Native，DolphinScheduler支持编排多云/数据中心工作流，支持自定义任务类型

对工作流和工作流实例（包括任务）进行版本控制

工作流和任务的多种状态控制，支持随时暂停/停止/恢复它们

多租户支持

其他如回填支持（Web UI 原生），包括项目、资源和数据源的权限控制

技术选型
前置准备工作
JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在，可以跳过这步。

二进制包：在下载页面下载 DolphinScheduler 二进制包

启动 DolphinScheduler Standalone Server
解压并启动 DolphinScheduler
二进制压缩包中有 standalone 启动的脚本，解压后即可快速启动。切换到有sudo权限的用户，运行脚本

# 解压并运行 Standalone Server
tar -xvzf apache-dolphinscheduler-*-bin.tar.gz
cd apache-dolphinscheduler-*-bin
bash ./bin/dolphinscheduler-daemon.sh start standalone-server

[color=rgb(51, 102, 153) !important]复制代码
登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

启停服务

脚本 ./bin/dolphinscheduler-daemon.sh 除了可以快捷启动 standalone 外，还能停止服务运行，全部命令如下

# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

[color=rgb(51, 102, 153) !important]复制代码

以下内容需要积分高于 2 才可浏览

链接：https://pan.baidu.com/s/12TJTAcpuN7ZrM_5cF5Jjvg

提取码下载：

文件名称:提取码下载.txt
下载次数:0 文件大小:12 Bytes 售价:99金钱 [记录]
下载权限: 不限 [购买VIP] [充值] [在线充值] 【VIP会员5折；永久VIP免费】

安全检测，请放心下载

		自动登录	找回密码
密码			立即注册

[Java源码] 新一代云原生工作流任务调度平台，分布式易扩展，开箱即用

相关帖子

客服中心

投诉建议