行业资讯

NEWS CENTER

​深度学习图像处理检测中结果的评价方法

发布者:在线AOI 智能AOI 在线AOI检测 |坦斯盯    时间:2018-11-28 13:05:29

多标签图像分类检测(Multi-label Image Classification)任务中图片的标签不止一个,因此评价不能用普通单标签图像分类的标准,即mean accuracy,该任务采用的是和信息检索中类似的方法—mAP(mean Average Precision)。mAP虽然字面意思和mean accuracy看起来差不多,但是计算方法要繁琐得多。

P-R曲线的绘制
用训练好的模型得到所有测试样本的confidence score,本例中某一类有20个测试样本。(每一类的P-R曲线、AP均单独计算)
这里写图片描述

对该类的confidence score排序,得到:
这里写图片描述

计算top-1到top-N(N是所有测试样本个数,本文中为20)对应的precision和recall,这两个标准的定义如下:
这里写图片描述
直观的理解就是,第一次我们排序后第一个样本的confidence作为划分正负样本的阈值,此时,只有第一个判断为正,其他均为负样本(因为其他样本的confidence均小于第一个样本的confidence),计算该阈值情况下的recall(1/1=1)和precision(1/1=1);然后第二次将排序后第二个样本的confidence作为划分正负样本的阈值,依次类推到最后一个。显然随着阈值的降低,我们选定的样本越来也多,recall一定会越来越高,而precision整体上会呈下降趋势。把recall当成横坐标,precision当成纵坐标,即可得到常用的precision-recall曲线。这个例子的P-R曲线如下:
这里写图片描述

AP的计算
PASCAL VOC CHALLENGE自2010年后就换了新计算方法。新的计算方法假设这N个样本中有M个正例,那么我们会得到M个recall值(1/M, 2/M, …, M/M),对于每个recall值r,我们可以计算出对应(r’ > r)的最大precision,然后对这M个precision值取平均即得到最后的AP值。计算方法如下:
这里写图片描述
相应的Precision-Recall曲线中被用于计算AP的部分如下(每一个recall的节点都取precision的最大值连接起来):
这里写图片描述

mAP的计算
AP衡量的是学出来的模型在每个类别上的好坏,mAP衡量的是学出的模型在所有类别上的好坏,得到AP后mAP的计算就变得很简单了,就是取所有AP的平均值。


固话:0757-86688699

传真:0757-86688698

邮箱:fsvdr8@163.com

地址:佛山市南海区狮山镇博爱中路40号之一A区办公楼6楼601(住所申报)

©2020 主营:在线AOI 智能AOI 在线AOI检测 佛山市坦斯盯科技有限公司 版权所有  粤ICP备2021022964号 | 本站部分图片来源于互联网,如果涉及版权问题,请按网站上公布的联系方式告知删除技术支持:佛山网站建设  网站地图
服务咨询热线
135-0963-2990

扫一扫微信咨询

top