您现在的位置是:首页 >其他 >计算机视觉—YOLO V4网站首页其他
计算机视觉—YOLO V4
计算机视觉—YOLO V4
1、YOLO V4
原论文下载地址:https://arxiv.org/abs/2004.10934
1.1、网络结构
相比之前的YOLOv3,改进了下Backbone,在Darknet53中引入了CSP模块(来自CSPNet)。在Neck部分,采用了SPP模块(Ultralytics版的YOLOv3 SPP就使用到了)以及PAN模块(来自PANet)。Head部分没变还是原来的检测头。
YOLO v4的网络结构包括的三部分:
- Backbone: CSPDarknet53
- Neck: SPP,PAN
- Head: YOLO v3
1.1.1、BackBone:CSPDarknet53
在YOLO v3中使用的主干网络是 Darknet53,在YOLO v4中运用的主干网络叫:CSPDarknet53,引入了CSP结构
CSP结构有什么具体的作用呢?原论文是这么说的:(换句话说就是YOLO v4的优点)
- Strengthening learning ability of a CNN(增强CNN学习能力)
- Removing computational bottlenecks(降低计算瓶颈)
- Reducing memory costs(减少内存使用)
也就是说加入CSP结构以后不仅从网络上做了提升,还在物理性能上做了优化,减少显存的使用。
1、这个CSP结构来自于CSPDenseNet这篇论文,具体结构如何:如下图
通过CNN特征抽取的到特征层:
- 对于输入的特征层,首先分成两部分Part1,Part2(在通道方向进行均分操作)
- 对Part2分支首先通过一系列的DenseBlock,在通过Transition
- 将Patr1和Part2的输出进行一个融合,也就是concat拼接
- 拼接以后在通过Transition
但是YOLO v4中的CSP结构和CSPDenseNet的优点不一样:
- 分割方式不一样:在CSP模块之前进行一个下采样,下采样的结果进行两次1 x 1 x C(输入通道数的一半)的卷积,作为两个Part
- 在part2上接一系列的ResBlock,在通过1 x 1 x C的卷积层
- part2的结果与part1进行concat通道数上的拼接
- 拼接后的结果进行 1 x 1 x 2C的卷积
2、知道了CSP的结构以后,看一下CSPDarknet53的整体结构:
还是用上面提到的UP主的杰作
k代表卷积核的大小
s 代表步距
c 代表通过该模块输出的特征层channels
注意,CSPDarknet53 Backbone中所有的激活函数都是Mish激活函数
注意每一个ResBlock中的通道数发生了变化,作者在DownSample中的ResBlock就展开画了。并且DownSample1中的part分支并没有减半。从DownSample2才开始减半。
1.1.2、Neck:SPP结构
- 将特征层输入进行三个不同大小池化核的MaxPool2d
- 将1得到的三个输出与SPP输入特征层进行Concat拼接
通过SSP结构在一定程度上解决多尺度问题
1.1.3、Neck:PAN结构
PAN(Path Aggregation Network)结构其实就是在FPN(从顶到底信息融合)的基础上加上了从底到顶的信息融合,如下图(b)所示。图中最左边的部分就是BackBlone主干网络。
但YOLOv4的PAN结构和原始论文的融合方式又略有差异,如下图所示。图(a)是原始论文中的融合方式,即特征层之间融合时是直接通过相加的方式进行融合的,但在YOLOv4中是通过在通道方向Concat拼接的方式进行融合的。
1.1.4、YOLO v4整体结构
还是采用UP主:太阳花的小绿豆的图片https://blog.csdn.net/qq_37541097/article/details/123229946?spm=1001.2014.3001.5502
1.2、优化策略
待更新。。。。。。。。。。