c++部署yolov5模型 前言一、准备模型二、Fastdeploy准备三 调用总结 前言 不可否认,yolov5在目标检测方面大杀四方,在 SOTA 榜上留下过万众瞩目的成绩,但是官网代
不可否认,yolov5在目标检测方面大杀四方,在 SOTA
榜上留下过万众瞩目的成绩,但是官网代码给的只有 python
版本的 infer
代码,要求不高的话,勉勉强强可以实现部署,现在,我想在 win
下实现 c++
部署过程,主要原因有:
cp
所有的 dll
以及 exe
到目标机器上就行,而 Python
需要安装各种环境;python
;win
下我感觉 c++
的部署与移植的便利性远远高于 python
;谈到深度学习模型的部署问题,就引出来了几个常见的部署工具,例如 OpenVINO
, tensorrt
, onnxruntime
等,以及基于这些框架又封装一层的,如 FastDeploy
, mmdeploy
等,这些工具各有特点,但对于目前的我来讲,就是想以最快的速度完成 ultracity/yolov5
生成的 pt
模型的部署,所以,选择了比较简单的 FastDeploy
添加链接描述
现在这个 toolbox
能实现很多的功能,支持的模型也很多,有需要的话,可以自己上官网看看,这里就不做过多介绍了。
FastDeploy
在调用 yolov5
的模型时,不是直接调用的 *.pt
文件,而是调用的 *.onnx
(一种通用的深度学习模型)文件,因此,首先是需要对 *.pt
的文件进行格式转换,但并不是所有yolov5
的代码都支持 export *.pt to *.onnx
的功能,在这里,需要关注下 yolov5
的 tag
,大于等于 v6.0
的才有 export.py
这个文件,所以,如果是老用户,就不不需读此文章了。
python export --weights *.pt --include onnx
这个还是需要自己编译下的,我是用 cmake
编译的,具体步骤:
ENABLE
目录下的选项:我是用视觉模块,所以,我把 ENABLE_VISioN
设置为 ON
, 并且,因为我需要调用 onnx
,也把 ORT_BACKEND
和 PADDLE_BACKEND
设置为 ON
,个人建议,用啥选啥,不用的先不要选,曾经遇到过坑,在编译的时候 ENABLE_OPENVINO_BACKEND=ON
,然后再程序运行的时候就卡住不动了,结果发现是因为缺少了一个*.xml
的文件,如果没人指点的话,估计这一个月都不知道问题出在哪里。2. 设置 with
,WITH_GPU
,因为在运行的时候,有 GPU
就调用 GPU
了,没有 GPU
就调用 CPU
了,兼容性好点。如果第一,二步没啥问题,就恭喜了,后面的调用就更简单了,直接看下代码吧:
bool demo_yolov5onnx(const std::string& model_file, const std::string& img_path, const int& loop, const int& use_gpu) {fastdeploy::RuntimeOption option; // Configuration infORMation for model inference if (use_gpu == 1) {option.UseGpu();} else {option.UseCpu();}auto model = fastdeploy::vision::detection::YOLOv5(model_file, "hello", option);if (!model.Initialized()) {std::cerr << "Failed to initialize." << std::endl;return false;}std::cout << "init successful" << std::endl;cv::Mat im = cv::imread(img_path);fastdeploy::vision::DetectionResult result;clock_t t1, t2;for (int i = 0; i < loop; i++) {t1 = clock();if (!model.Predict(im, &result)) {std::cerr << "Failed to predict." << std::endl;return false;}t2 = clock();std::cout << "predict image cost time: " << t2 - t1 << std::endl;}std::cout << "=================================" << std::endl;std::cout << result.Str() << std::endl;std::cout << "=================================" << std::endl;cv::Mat vis_im = fastdeploy::vision::VisDetection(im, result, 0.5);cv::imwrite("vis_result.jpg", vis_im); // The visualization results are saved locallyreturn true;}
调用还是比较简单的,也就三五句有用的语句。
FastDeploy
封装的还是挺简单的,使用很方便,但是,毕竟是二次开发的工具,在功能上,还是会受限的,所以,要想能更精通的实现模型部署的工作,还是需要学习下底层的部署工具(OpenVINO,ONNXRuntime, TensorRT
)的使用以及对模型框架本身的理解。
来源地址:https://blog.csdn.net/weixin_42823098/article/details/129141717
--结束END--
本文标题: c++部署yolov5模型
本文链接: https://www.lsjlt.com/news/393791.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0