Scaled

Stella981
• 阅读 391

分享一篇新出的重要文章:Scaled-YOLOv4: Scaling Cross Stage Partial Network,作者出自YOLOv4的原班人马,其聚焦于针对YOLOv4的模型缩放(model scale)。

该文作者信息:

Scaled

论文地址:https://arxiv.org/2011.08036
代码地址: https://github.com/WongKinYiu/ScaledYOLOv4

旗下重要的三个模型:

YOLOv4-CSP(面向普通GPU)

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-csp

YOLOv4-tiny(面向低端GPU)

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-tiny

YOLOv4-large(面向高端GPU):

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-large

在我爱计算机视觉公众号后台回复“YOLOv4”,即可收到包含论文和代码的打包下载。

实现效果

1)其开发的YOLOv4-large 在COCO数据集达到SOTA精度: 55.4% AP(73.3% AP50) 并以以15 fps 在 Tesla V100运行, 而如果加上测试阶段数据增强方法后,YOLOv4-large 达到 55.8% AP (73.2 AP50). 作者称这一精度是所有已公开文献的最高精度.

Scaled

2)另外其 YOLOv4-tiny模型在COCO数据集达到 22.0% AP (42.0% AP50) , ∼443 FPS 在 RTX 2080Ti运行, 当使用 TensorRT做推理, batch size = 4 和 FP16推断时,  YOLOv4-tiny 甚至可达到 1774 FPS

何为模型缩放?

为什么要缩放?

首先我们要搞清楚这篇文章作者的本意,其本不是冲着提高检测精度而来的。其主要考虑的是在深度学习技术应用领域不断扩大的今天,面向实际工程部署,往往需要的不是一个模型而是一套模型

部署在云端,也许你有高端大气上档次的V100 ,部署在个人电脑有大量的消费级GPU可选如2080TI(当然还是略贵~),部署在嵌入式平台可以选择TX2 、Jetson NANO等“弱机”。

模型缩放即希望一个算法衍生出多个模型,对计算和存储的需求不同(精度当然也不同),以满足部署在不同平台的需求。其实这当然不是什么新概念,EfficientNet、EfficientDet即是一个算法的一系列模型。

作为工业界宠爱的 YOLOv4, 需要模型缩放。

Scaled-YOLOv4

是怎么做模型缩放的?

正如之前跟大家分享过YOLOv4论文一样,作者们依然采用了极其工程化的方法设计 Scaled-YOLOv4 ,没有发明什么新思想、新路径,而是“博采众长”,“努力调优”。

以往模型缩放,如 EfficientDet 无非是首先选择网络基础模块,它往往又好又快,然后针对影响目标检测的重要参数如:网络宽度w、深度d、输入图像分辨率size等进行(满足一定条件下按照一定规律)调参。

虽然神经架构搜索也常被用于设计不同平台的一系列不同模型,但EfficientDet 已经证明上述方法其实是很有效。

作者针对不同的GPU设计不同模型。思路依然是寻找基础模块,然后调整网络宽度w、深度d、输入图像分辨率size。

作者认为之前的工作没有系统性分析各个网络因素的影响,而作者进行了系统分析。

这里CV君不再跟大家分享作者的分析细节,只上结论。

针对普通GPU,对应YOLOv4-CSP,作者选择了CSPNet (CVPR 2020 Workshop 论文)启发下的CSP-ized(CSP化的)模型作为基础结构。作为后来者,相比EfficientDet,设计 Scaled-YOLOv4 能选择的网络结构更多,当然是有优势的。

Scaled

YOLOv4-CSP中的reversed CSP dark 结构

**针对嵌入式等平台上的弱GPU,对应YOLOv4-tiny,**除了考虑计算量,作者尤其提到要考虑内存访问速度、内存带宽、DRAM 速度的影响,作者选择了OSANet作为整体结构,并依然进行了CSP化,即CSPOSANet。CV君觉得这是搞工程化的人最值得参考的地方。

Scaled

YOLOv4-tiny 计算模块

对于高端GPU,对应YOLOv4-Large,首要考虑的是追求高精度,所以作者在提高输入图像分辨率和增加stage上下功夫,因为这直接影响不同分辨率目标和算法感受野,输入分辨率高、算法感受野大能检测到更多目标。

Scaled

YOLOv4-P5、P6、P7结构

算法效果

作者在COCO数据集上进行了测试,未使用预训练权重,从头开始训练。

尽管 Scaled-YOLOv4并不单纯追求精度高,但跟SOTA算法相比依然很能打。

Scaled

请注意,表中的YOLOv4 -CSP、P5、P6、P7依然都是实时算法,针对帧率15fps(v100 GPU上测试),当然YOLOv4-P7也取得了最高的精度,但相比相同输入分辨率的EfficientDet-D7x也并未出现碾压的架势,在Large目标上EfficientDet-D7x是最优秀的,YOLOv4-P7对小目标检测更好。

YOLOv4-Large 加上测试时图像增强(TTA,这时在工程应用时经常做的)后,精度获得了小幅提升:

Scaled

YOLOv4-tiny同样很优秀,相比其他主打小模型计算量小的算法,取得了速度和精度的双优。

Scaled

结论

尽管在算法设计上,该文并没有带来重要亮点,但从工程应用的角度讲, Scaled-YOLOv4无疑是极其优秀的选择!尤其是YOLOv4-tiny,其设计不仅考虑到计算量和参数量还考虑到内存访问,感谢作者团队的开源!

本文分享自微信公众号 - AI科技时讯(aiblog_research)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
秃头王路飞 秃头王路飞
5个月前
webpack5手撸vue2脚手架
webpack5手撸vue相信工作个12年的小伙伴们在面试的时候多多少少怕被问到关于webpack方面的知识,本菜鸟最近闲来无事,就尝试了手撸了下vue2的脚手架,第一次发帖实在是没有经验,望海涵。languageJavaScript"name":"vuecliversion2","version":"1.0.0","desc
blmius blmius
1年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
光头强的博客 光头强的博客
5个月前
Java面向对象试题
1、请创建一个Animal动物类,要求有方法eat()方法,方法输出一条语句“吃东西”。创建一个接口A,接口里有一个抽象方法fly()。创建一个Bird类继承Animal类并实现接口A里的方法输出一条有语句“鸟儿飞翔”,重写eat()方法输出一条语句“鸟儿吃虫”。在Test类中向上转型创建b对象,调用eat方法。然后向下转型调用eat()方
刚刚好 刚刚好
5个月前
css问题
1、在IOS中图片不显示(给图片加了圆角或者img没有父级)<div<imgsrc""/</divdiv{width:20px;height:20px;borderradius:20px;overflow:h
小森森 小森森
5个月前
校园表白墙微信小程序V1.0 SayLove -基于微信云开发-一键快速搭建,开箱即用
后续会继续更新,敬请期待2.0全新版本欢迎添加左边的微信一起探讨!项目地址:(https://www.aliyun.com/activity/daily/bestoffer?userCodesskuuw5n)\2.Bug修复更新日历2.情侣脸功能大家不要使用了,现在阿里云的接口已经要收费了(土豪请随意),\\和注意
晴空闲云 晴空闲云
5个月前
css中box-sizing解放盒子实际宽高计算
我们知道传统的盒子模型,如果增加内边距padding和边框border,那么会撑大整个盒子,造成盒子的宽度不好计算,在实务中特别不方便。boxsizing可以设置盒模型的方式,可以很好的设置固定宽高的盒模型。盒子宽高计算假如我们设置如下盒子:宽度和高度均为200px,那么这会这个盒子实际的宽高就都是200px。但是当我们设置这个盒子的边框和内间距的时候,那
艾木酱 艾木酱
5个月前
快速入门|使用MemFire Cloud构建React Native应用程序
MemFireCloud是一款提供云数据库,用户可以创建云数据库,并对数据库进行管理,还可以对数据库进行备份操作。它还提供后端即服务,用户可以在1分钟内新建一个应用,使用自动生成的API和SDK,访问云数据库、对象存储、用户认证与授权等功能,可专
密钥管理系统-为你的天翼云资产上把“锁
本文关键词:数据安全,密码机,密钥管理一、你的云上资产真的安全么?1.2021年1月,巴西的一个数据库30TB数据被破坏,泄露的数据包含有1.04亿辆汽车和约4000万家公司的详细信息,受影响的人员数量可能有2.2亿;2.2021年2月,广受欢迎的音频聊天室应用Clubhouse的用户数据被恶意黑客或间谍窃取。据悉,一位身份不明的用户能够将Clubho
NVIDIA安培架构下MIG技术分析
关键词:NVIDIA、MIG、安培一什么是MIG2020年5月,NVIDIA发布了最新的GPU架构:安培,以及基于安培架构的最新的GPU:A100。安培提供了许多新的特性,MIG是其中一项非常重要的新特性。MIG的全名是MultiInstanceGPU。NVIDIA安培架构中的MIG模式可以在A100GPU上并行运行七个作业。多实
helloworld_28799839 helloworld_28799839
5个月前
常用知识整理
Javascript判断对象是否为空jsObject.keys(myObject).length0经常使用的三元运算我们经常遇到处理表格列状态字段如status的时候可以用到vue