天气与日历 切换到窄版

 找回密码
 立即注册

QQ登录

只需一步,快速开始

此广告位出租
查看: 30|回复: 0

[Java源码] 新一代云原生工作流任务调度平台,分布式易扩展,开箱即用

[复制链接]

2693

主题

0

回帖

2833

积分

管理员

积分
2833
发表于 2024-11-4 16:14:59 | 显示全部楼层 |阅读模式
新一代云原生工作流任务调度平台,分布式易扩展,开箱即用新一代云原生工作流任务调度平台,致力于“解决任务之间错综复杂的依赖关系,让整个数据处理开箱即用”。
一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



主页:项目和工作流概览,包括最新的工作流实例和任务实例状态统计。





工作流定义:通过拖拉拽创建和管理工作流,轻松构建和维护复杂的工作流。





工作流树状图:抽象的树形结构可以更清晰地理解任务之间的关系





数据源:支持管理多种外部数据源,为MySQL、PostgreSQL、Hive、Trino等,并提供统一的数据访问能力。





监控:实时查看master、worker和数据库的状态,包括服务器资源使用情况和负载情况,无需登录服务器即可快速进行健康检查。





功能概述
新一代云原生工作流任务调度平台,致力于“解决任务之间错综复杂的依赖关系,让整个数据处理开箱即用”。


DolphinScheduler 的主要特性如下:


易于部署,提供四种部署方式,包括Standalone、Cluster、Docker和Kubernetes


易于使用,可以通过四种方式创建和管理工作流,包括Web UI、Python SDK、Yaml文件和Open API


高可靠高可用,多主多从的去中心化架构,原生支持横向扩展


高性能,性能比其他编排平台快N倍,每天可支持千万级任务


Cloud Native,DolphinScheduler支持编排多云/数据中心工作流,支持自定义任务类型


对工作流和工作流实例(包括任务)进行版本控制


工作流和任务的多种状态控制,支持随时暂停/停止/恢复它们


多租户支持


其他如回填支持(Web UI 原生),包括项目、资源和数据源的权限控制


技术选型
前置准备工作
JDK:下载JDK (1.8+),安装并配置 JAVA_HOME 环境变量,并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在,可以跳过这步。


二进制包:在下载页面下载 DolphinScheduler 二进制包


启动 DolphinScheduler Standalone Server
解压并启动 DolphinScheduler
二进制压缩包中有 standalone 启动的脚本,解压后即可快速启动。切换到有sudo权限的用户,运行脚本

  • # 解压并运行 Standalone Server
  • tar -xvzf apache-dolphinscheduler-*-bin.tar.gz
  • cd apache-dolphinscheduler-*-bin
  • bash ./bin/dolphinscheduler-daemon.sh start standalone-server

[color=rgb(51, 102, 153) !important]复制代码

登录 DolphinScheduler
浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123
启停服务
脚本 ./bin/dolphinscheduler-daemon.sh 除了可以快捷启动 standalone 外,还能停止服务运行,全部命令如下
  • # 启动 Standalone Server 服务
  • bash ./bin/dolphinscheduler-daemon.sh start standalone-server
  • # 停止 Standalone Server 服务
  • bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

[color=rgb(51, 102, 153) !important]复制代码





以下内容需要积分高于 2 才可浏览

链接:https://pan.baidu.com/s/12TJTAcpuN7ZrM_5cF5Jjvg


提取码下载:
文件名称:提取码下载.txt 
下载次数:0  文件大小:12 Bytes  售价:99金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员5折;永久VIP免费】
安全检测,请放心下载



相关帖子

扫码关注微信公众号,及时获取最新资源信息!下载附件优惠VIP会员5折;永久VIP免费
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

免责声明:
1、本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与商业和非法行为,请在24小时之内自行删除!
2、本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,请勿任何商业目的与商业用途。
3、若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
4、论坛的所有内容都不保证其准确性,完整性,有效性,由于源码具有复制性,一经售出,概不退换。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
5、用户使用本网站必须遵守适用的法律法规,对于用户违法使用本站非法运营而引起的一切责任,由用户自行承担
6、本站所有资源来自互联网转载,版权归原著所有,用户访问和使用本站的条件是必须接受本站“免责声明”,如果不遵守,请勿访问或使用本网站
7、本站使用者因为违反本声明的规定而触犯中华人民共和国法律的,一切后果自己负责,本站不承担任何责任。
8、凡以任何方式登陆本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。
9、本站以《2013 中华人民共和国计算机软件保护条例》第二章 “软件著作权” 第十七条为原则:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。若有学员需要商用本站资源,请务必联系版权方购买正版授权!
10、本网站如无意中侵犯了某个企业或个人的知识产权,请来信【站长信箱312337667@qq.com】告之,本站将立即删除。
郑重声明:
本站所有资源仅供用户本地电脑学习源代码的内含设计思想和原理,禁止任何其他用途!
本站所有资源、教程来自互联网转载,仅供学习交流,不得商业运营资源,不确保资源完整性,图片和资源仅供参考,不提供任何技术服务。
本站资源仅供本地编辑研究学习参考,禁止未经资源商正版授权参与任何商业行为,违法行为!如需商业请购买各资源商正版授权
本站仅收集资源,提供用户自学研究使用,本站不存在私自接受协助用户架设游戏或资源,非法运营资源行为。
快速回复 返回顶部 返回列表