图像识别视频推流基于springboot的AI算法中台系统视频算法中台系统

admin · 发表于 2024-11-4 22:38:31

java yolo onnx tensorrt yolov8 图像识别视频推流基于springboot的AI算法中台系统
图像识别视频推流基于springboot的AI算法中台系统视频算法中台系统

1.基于SpringBoot+Docker+Cuda+Cudnn+Pythorch+Onnx+Tensorrt+Yolov8+ffmpeg+zlmediakit 的AI算法中台系统，本系统主要实现JAVA调用Python脚本的方式，实现在GPU(Nvidia Tesla T4)上进行yolov8的加速推理运算。
2.项目可实现人、车、火灾烟雾、河道漂浮物、道路裂痕等视频的实时识别，并将识别结果通过ffmpeg推流到zlmediakit流媒体服务器，使得在web页面上可以同时查看原始视频和实时计算视频。
3.项目每隔1分钟将推理结果信息和对应的图片推送到文件服务器minio和消息队列rocketmq,便于开发者获取到推理结果进行业务开发。
4.项目同时支持基于ONNX的推理运算和基于Tensorrt的加速推理运算2种方式,只需在调用时传递不同参数即可。
5.项目同时支持Linux和Windows环境，代码自动判断运行的环境并执行对应的.bat或.sh脚本文件以启动AI模型推理。
6.项目包含前端完整代码和后端完整代码，开箱即用，为JAVA开发者训练、部署、使用AI模型提供了参考。

[color=rgb(51, 102, 153) !important]复制代码
软件架构

1.系统架构本AI算法中台系统结合了SpringBoot开发Web项目的优势、Python训练调试AI模型的优势、Shell脚本便于调用Linux服务器资源的优势，将不同语言综合一起协调工作，并将项目运行在Docker容器中以便于运维和管理，让JAVA开发者能够方便训练、部署、使用AI模型。

2.技术栈

开发环境：IDEA、JDK1.8、Maven、Gitlab、Pycharm、Anaconda3

软件架构：Nginx + SpringBoot + Vue + Shell + Python

前端框架：Vue + Nodejs

Web框架：SpringBoot

Orm框架：MyBatis3

数据库：Mysql、Redis、MongoDB

消息队列：RocketMq

文件服务: Minio

代码生成: FreeMarker自动生成后端Java代码和前端Vue代码

CPU设备: Intel(R) Xeon(R) Gold 5218 CPU @ 2.30GHz

GPU设备: Nvidia Tesla T4 16G

AI模型：Yolov8n/Yolov8m

训练环境：Pytorch2.3.0 + Onnxruntime-gpu1.16.1 + Ultralytics8.2.48

推理环境: Cuda11.8 + Cudnn8.6.0 + Tensorrt8.5.1.7 + Onnxruntime-gpu1.16.1

推理加速: Tensorrt8.5.1.7

视频操作：Opencv4.7.0

视频推流: FFmpeg4.2.7

流媒体服务：Zlmediakit

部署环境：Docker + Ubuntu20.04

目录说明

data/algorithm_model : 算法模型库，提供了作者训练并部署的5个常用算法模型,包括.pt .onnx .engine 三种格式

data/doc : 算法中台接口文档

data/front_code : 项目前端Vue代码

data/linux : linux下的onnx和tensorrt推理运行代码

data/windows : windows下的onnx和tensorrt推理运行代码

data/sql : 项目数据库

src : 项目后端springboot代码

安装教程

1.安装Zlmediakit流媒体服务器，安装方法如下:

(1).拉取docker镜像
docker pull zlmediakit/zlmediakit:master
(2).创建目录以存放zlmediakit数据
mkdir -p /home/docker/zlmediakit && chmod 777 /home/docker/zlmediakit
(3).运行镜像
--1.先运行镜像得到配置文件
docker run --name zlmediakit -d zlmediakit/zlmediakit:master
--2.复制 zlmediakit 容器文件到指定目录
docker cp -a zlmediakit:/opt/media /home/docker/zlmediakit
--3.删除 zlmediakit 容器
docker rm -f zlmediakit
--4.重新按自定义方式运行
docker run --name zlmediakit --restart=always --env MODE=standalone -e TZ="Asia/Shanghai" \
-v /home/docker/zlmediakit/media/bin:/opt/media/bin \
-v /home/docker/zlmediakit/media/conf:/opt/media/conf \
-p 11935:1935 -p 11080:80 -p 11554:554 \
-p 11000:10000 -p 11000:10000/udp -p 18000:8000/udp \
-p 50000-50300:50000-50300/udp \
-d zlmediakit/zlmediakit:master