您现在的位置是:首页 >其他 >CoCo数据集-目标检测指标MAP网站首页其他
CoCo数据集-目标检测指标MAP
一、前言
前面学习了coco数据集但是不知道它的评价指标,所以写下来作为自己的笔记,以后还是直接在这写好再保存到自己的本地笔记中。
二、评价指标的一些概念
2.1.一些概念
2.2.概念介绍
举例,在如下图中:
只有IOU大于0.5的才会被计算为TP检测框,在上图中cat0.9的框与Ground Truth的IOU大于0.5,所以可以记录为TP,而相反cat0.3的框与Ground Truth的IOU小于0.5,因此只能计算为FP。对于右下角的ground truth并没有框检测到这个cat,因此应该记为FN。
查准率Percision是用来衡量模型预测的所有目标中预测正确的比例,但是单独一个它还不能作为目标检测的评价指标,例如因为当检测一张图里的五个目标时,如果只有一个IOU>0.5的框,这也会使查准率为100%但显然这是不合理的。
查全率Recall是用来衡量所有真实目标中,模型预测的正确比例。同样的单独使用Recall也不能单独作为评估指标。例如,在下图中有很多个框没有漏检,查全率为100%,这显然也不可以单独作为评估指标。
因此必须同时使用两个指标来衡量。P-R曲线下面会介绍,我们先通过一个案例来求解MAP。MAP是多个类别AP的平均值。
2.3.MAP求解
假设我们需要评估的三张图片如上,对于猫这个类别,我们可以计算它的AP有:
1)第一张图片预测结果
对于这张图片有两个预测的目标,GTID表示预测的目标ID,confindence表示预测的概率,OB为GTbox与Predicted box的IOU。
2)第二张图预测结果
num_ob是预测的对象个数,叠加得到,因为前面图像中有两个对象加上这张图的一个叠加为3个。表格是根据Confidence从大到小排序的。
3)第三张图预测结果
最终得到三张图里面共七个对象的统计结果。
根据设置不同的Confidence,来求Percision and recall。
分别设置不同的Confidence得到结果,例如,如果以预测概率大于0.66的框代表检测到,则有:总共有5个框满足条件,其中TP = 4, FP为1, FN为7-4 = 3
最终得到:
接下来以Recall为横坐标,precision为纵坐标画图,这就是前面提到的P-R曲线,可以计算它的面积。
PS: 相同的Recall只会保留最大的Precision的那一个,也就是只会保留图中所示有方框的5个点。最后计算面积即可,有一点注意就是实际上计算的是每一个小矩形的面积,宽为相邻的两个点的recall差,高为从该点开始往后的所有的precision最大的值。
三、理解CoCo的评价指标
以上为官方评估标准
对于Average Precision(AP) 在CoCo数据集中,Average Precision主要使用的是第一个AP,也即计算IOU从0.5到0.95,间隔0.05的十个IOU来计算十个MAP,再取平均值得到CoCo的主要评估指标AP。PASCAL VOC以IOU为0.5对应的是第二个指标,第三个是以IOU为0.75的指标,更加严格。
对于AP Across Scales 是用来统计大小不同的目标的,根据他们的大小来统计。
对于Average Recall 主要用来限定一张图像里面可以检测到的目标数。
其他的更多的可以到CoCo的官方网站进行查看。
四、总结
主要是学习B站导师霹雳吧啦WzUP主的视频讲解做的笔记,方便自己可以不看视频更加方便的及时巩固复习。
五、学习视频、Coco官方地址
B站导师霹雳吧啦WzUP主的视频地址:https://www.bilibili.com/video/BV1ez4y1X7g2/?spm_id_from=333.999.0.0&vd_source=6f62aba02fc9ac56aa9063bbce87d3a7
CoCo官方地址:
https://cocodataset.org/#detection-eval