一、测试描述
瓦楞纸箱是自动化仓储场景下一个常见的物体品类，目标检测的瓦楞纸箱模型有助于更好的服务于仓储场景下的自动化流程。本文档对瓦楞纸箱模型进行两方面的测试，分为本地测试和RoboView测试。
二、测试准备
首先，从文件网盘-自动化仓储-瓦楞纸箱拿到训练好的模型（训练步骤参考目标检测之Yolo训练流程 · 语雀 (yuque.com)），Corrugated_box-l模型是文件比较大网络结构比较复杂的模型，它的准确率更高，但运行速度较慢，Corrugated_box-m的准确率和运行速度都属于中等水平，Corrugated_box-s准确率较低，但模型更小运行速度更快。
三、测试目的
测试的目的主要是测量模型的准确率，从误检，漏检，多捡三个情况来进行测试；
误检：是A类的物体被检测成非A类；或不是A类的物体被检测成A类；
漏检：是A类的物体没有被检测到；
多捡：某位置只有一个A物体，却检测到2个或两个以上A物体。
四、本地测试
在四组共28892个箱子个体的测试集上进行测试，统计漏检、多检、误检出现的次数，这些都是错检的情况，错检个数除以总体箱子个数是错检率。正确率是1减去错检率。为了增加测试难度，选了一些高曝光以及各种旋转和距离很近的测试集，测试集是在展厅中各个摄像头下随机摆放十多个箱子采集的。
| 模型 | 漏检 | 多检 | 误检 | 正确率 |
|---|---|---|---|---|
| Corrugated_box-s | 113 | 25 | 7 | 99.499% |
| Corrugated_box-m | 89 | 17 | 2 | 99.627% |
| Corrugated_box-l | 70 | 16 | 0 | 99.702% |
五、测试分析：
漏检的表现情况为：
1.图像边缘处，只有一半的箱体在图像中；
2.被摄像头左上角的日期信息挡住的小箱子，因为大箱子也只会被日期信息挡住一小部分，所以受影响较小，小箱子被遮挡的部分就比较多，受影响较大；
3.在手中拿着在空中运动的过程中的箱子；被手遮挡以及在空中位置变化不确定，没有对应情况的训练集。
多捡的表现情况：
4.中小箱子且互相之间紧贴。
错捡的表现情况：
5.墙上的屏幕上的某个位置的图案。
六、优化方法
对于情况1：
建议正式使用时，规定有效的工作区域为除开上下区域处5%高度（H）、左右区域处5%宽度（W）的剩余的中间区域，如下图所示：
对于情况2：
在相机配置中关闭日期，星期等显示。
对于情况3：
该情况大概率是测试情况下独有的情况，因为正常作业中，应该以机器搬运的情况为主；另外，补充相关数据集以及减缓箱体运动速度可以有效缓解这种情况的出现。
对于情况4：
一方面Roboview2D基线中会规定2个被检目标间的最小距离，另一方面，增补数据以及提高损失函数中位置项的权重能够改善这种情况
对于情况5：
一方面为了稳定性应该尽量降低工作区域中的杂物的出现。另一方面，增加负样本可以有效改善这种情况。
七、Robiview实测
Robiview实测是指用Roboview进行实时测试。
demo：
瓦楞纸箱模型测试1
瓦楞纸箱模型测试2
两个场景测试下来没有出现一次错误，库位的有无表现也没有错误，发出去的API消息也没有错误。具体表现请看demo。
感谢反馈
感谢反馈
