设为首页收藏本站
天气与日历 切换到窄版

 找回密码
 立即注册

QQ登录

只需一步，快速开始

此广告位出租
帆帆资源网»首页 › 网站系统源码 › 网站系统源码 › 一个类似Kettle的数据分析平台，使用低代码方式编排任务 ...
返回列表 发新帖
查看: 27|回复: 0

[Java源码] 一个类似Kettle的数据分析平台，使用低代码方式编排任务

[复制链接]
admin

2693

主题

0

回帖

2833

积分

管理员

积分
2833
发表于 2024-11-5 11:16:04 | 显示全部楼层 |阅读模式
一个类似Kettle的数据分析平台，使用低代码方式编排任务
一个类似Kettle的数据分析平台，目标是数据分析，可承担一点ETL任务。 Visualization使用低代码方式编排DAG任务，集群自动执行相应的任务。
架构图


特性
  • 流程配置化。提供前端拖拉拽形式配置流程，数据操作使用表单配置，少量代码即可完成相应的配置；
  • 基于Spring Cloud的分布式集群计算，外部依赖较少，容器集群部署相对方便；
  • DAG任务调度，节点任务由集群自动执行；
  • 支持多数据源，目前支持CSV、JDBC(MySQL驱动、PostgreSQL)，后续会增加其他类型的数据源；
  • 文件分片上传下、下载；
  • 支持流程实例任务执行情况查询，以任务时间线形式展示；
  • 支持多租户权限管理，允许父子租户
  • 支持前端页面路由按权限动态生成；
使用场景
  • excel（异步）导出
    • 某些国企项目有excel导出需求，visual可以异步导出excel,减少代码开发量
  • 单节点可承接的数据分析。
    • 本工具目前不支持数据分片，大数据分析需自行在任务节点手动分片或使用其他OLAP工具或加大内存；
    • 一般个位数GB的JVM可以处理百万级数据
  • 有数据分析需求，但不想搭建大数据那套集群，可使用本工具；
  • 有配置需求的场景，例如定时生成分析报表的需求。
    • 这个目前需外部定时任务组件新建流程实例，目前市面上已经有很多定时任务组件可以搭配使用（后续考虑增加定时组件）；
  • 跨数据源连接操作，例如某张表在PolarDB、CSV，另一张表在MySQL的连接操作；
  • 取数逻辑频繁修改，例如某个指标的获取方式。本工具只需修改配置即可实现修改逻辑；
  • 数据大屏的后端，类似于datav、mapv的画布工具，使用该工具可以快速构建大屏后端；
部署前置条件
JDK1.8+、MySQL5.7+、Redis6+、NodeJS、MinIO、InfluxDB
备注：作者开发环境是Mac，部分依赖可能和Windows有区别。作者开发过程就遇到Netty的依赖需要替换
工程结构
  • visual-discovery：注册中心eureka
  • visual-engine：计算节点，分布式集群请启动多实例
  • visual-core：配置化的基础实现
  • visual-portal：前端项目
  • visual-gateway：网关服务
  • visual-auth：权限服务
部署步骤
  • 启动MySQL、Redis、Minio、InfluxDB
  • 启动visual-discovery (SpringBoot的启动方式)
  • 启动visual-gateway (SpringBoot的启动方式)
  • 启动visual-auth (SpringBoot的启动方式)
  • 启动visual-engine (SpringBoot的启动方式)
  • 启动visual-portal (yarn test，其他环境指令目前就不配置了)
任务流程
  • 在流程管理-流程定义新建流程模版。拖拽左侧“任务节点”到画布，点击节点进行配置。配置完成后点击发布流程
  • 在已定义流程列表点击运行实例
  • 等待任务完成，在“流程管理-流程实例列表-查看执行日志”里查看任务的执行情况
租户说明
  • 注册时，可选择租户用户和普通用户；
  • 普通用户在赋权后才与对应的租户关联；
  • 右上角的“企业/组织/团队”选择当前进入的租户空间，所有用户都默认和public租户关联；
存储空间说明
  • 存储空间可选个人、已关联的租户；
  • 所有配置项都存储在选择的存储空间；
流程实例涉及文件说明
流程涉及到的文件有以下两种路径
  • 路径前缀是spaceShare，则文件在spaceShare文件夹下；
  • 其余情况的路径前缀是“流程模版Id/流程实例Id/文件配置的路径”。这么设置是为了规避多流程实例出现文件覆盖。

流程模版文件上传下载
  • 在文件管理页找到对应路径上传下载。
  • 支持分片上传、秒传、下载
  • 注意:流程模版共享的文件需在spaceShare文件夹下，否则无法识别。例如存储空间为public时，对应空间路径是"/public/spaceShare"














以下内容需要积分高于 2 才可浏览

链接: https://pan.baidu.com/s/1wVxyi2Hbvu9-pKQzpFSHEQ



提取码下载：
文件名称:提取码下载.txt 
下载次数:0  文件大小:13 Bytes  售价:69金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员5折；永久VIP免费】
安全检测，请放心下载



文件, 路径, 流程, spaceShare, 任务

相关帖子

扫码关注微信公众号，及时获取最新资源信息！【下载附件优惠：VIP会员5折；永久VIP免费】
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

免责声明：
1、本站提供的所有资源仅供参考学习使用，版权归原著所有，禁止下载本站资源参与商业和非法行为，请在24小时之内自行删除！
2、本站所有内容均由互联网收集整理、网友上传，并且以计算机技术研究交流为目的，仅供大家参考、学习，请勿任何商业目的与商业用途。
3、若您需要商业运营或用于其他商业活动，请您购买正版授权并合法使用。
4、论坛的所有内容都不保证其准确性，完整性，有效性，由于源码具有复制性，一经售出，概不退换。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
5、用户使用本网站必须遵守适用的法律法规,对于用户违法使用本站非法运营而引起的一切责任，由用户自行承担
6、本站所有资源来自互联网转载，版权归原著所有，用户访问和使用本站的条件是必须接受本站“免责声明”，如果不遵守，请勿访问或使用本网站
7、本站使用者因为违反本声明的规定而触犯中华人民共和国法律的，一切后果自己负责，本站不承担任何责任。
8、凡以任何方式登陆本网站或直接、间接使用本网站资料者，视为自愿接受本网站声明的约束。
9、本站以《2013 中华人民共和国计算机软件保护条例》第二章 “软件著作权” 第十七条为原则：为了学习和研究软件内含的设计思想和原理，通过安装、显示、传输或者存储软件等方式使用软件的，可以不经软件著作权人许可，不向其支付报酬。若有学员需要商用本站资源，请务必联系版权方购买正版授权！
10、本网站如无意中侵犯了某个企业或个人的知识产权，请来信【站长信箱312337667@qq.com】告之，本站将立即删除。
郑重声明：
本站所有资源仅供用户本地电脑学习源代码的内含设计思想和原理，禁止任何其他用途！
本站所有资源、教程来自互联网转载，仅供学习交流，不得商业运营资源，不确保资源完整性，图片和资源仅供参考，不提供任何技术服务。
本站资源仅供本地编辑研究学习参考，禁止未经资源商正版授权参与任何商业行为，违法行为！如需商业请购买各资源商正版授权
本站仅收集资源，提供用户自学研究使用，本站不存在私自接受协助用户架设游戏或资源，非法运营资源行为。
快速回复 返回顶部 返回列表