基于多任务融合的圣女果采摘识别算法研究

1、简介

本文主要解决圣女果生产销售环节中，现有的流程是采摘成熟的圣女果，再对采摘下的果实进行单独的品质分级，不仅费时费力，而且多增加一个环节，也增加了对果实的二次伤害。如何在采摘环节中就对圣女果果实进行品质分级是本文研究的核心内容。

在这里插入图片描述

1.1 国内外研究现状

国内外目前对“采摘果实的同时对品质进行分级”这一课题研究的并不多。主要集中在采摘识别算法上，大致分为两类：传统算法与人工智能算法。

1.1.1 传统算法采摘识别

传统的采摘识别算法有1⃣️基于HIS颜色特征的识别；2⃣️红外成像识别；3⃣️光谱成像识别等方法；如下图所示，但是可以发现对果实的边缘信息检测误差较大，并且对于重叠的果实并不能有效区分开来，而圣女果/番茄的果实往往是成簇/串生长，因此传统算法的检测效果并不佳。

在这里插入图片描述

1.1.2 人工智能算法采摘识别

目前采用的人工智能算法主要以1⃣️目标检测识别；2⃣️语义分割识别为主.
较少采用实例分割实现，分析主要原因有：实例分割算法的研究还有许多难题需要解决，如推理速度较低，不如目标检测的迅速，可以达到实时性的任务要求。

目标检测算法：目标检测虽然检测速度很快，检测精度也很高，但是目标检测只能识别出果实的边界框，而无法识别出果实的精准边界信息，对于采摘任务而言并不友好；
语义分割算法：语义可以精准的实现果实的边界信息，但是对于同一类别的交集果实无法区分，对于采摘而言，无法精确计算实例的采摘点；

在这里插入图片描述

1.2 研究目的与意义

通过将品质分级、实例分割任务融合在一个模型中，从而实现对圣女果的采摘识别与品质分级同时进行。即可以精准识别到果实的边缘信息又可以区分不同实例，并同时进行果实的品质分级任务。将实现采摘的同时进行品质分级，极大的缩短的加工时间，提高了生产效率，同时降低了对果实的损伤。

在这里插入图片描述

2、自建多品质圣女果数据集

前往山东省寿光县进行数据采集，拍摄了5k+原图数据，通过1->2/1->3数据增广扩增至14K张数据，人工标注图像3K，共13K个样本实例；

数据标注过程中，采用的更加精细的实例分割标注，可以衍生出单圣女果的采摘识别数据集、单成熟度的圣女果采摘识别数据集、多品质的圣女果采摘数据集等不同任务需求的下游数据集；
标注过程中，我们将圣女果按照成熟度、是否遮挡、品质进行品质划分，共划为为13个品级，其中包含开裂状态的损伤果。

在这里插入图片描述

通过对13K+个实例的分布情况统计，发现不同品类的数据分布是极度不均衡的，为了缓解此情况对模型训练的影响，我们尝试了对样本数据少的类别进行数据增强，但是发现此方法行不通，因为圣女果果实高度重叠同生，单纯增强数据量少的类别难度极大；

出了进行数据增强方法，采用Focal Loss的损失函数可以缓解对模型的影响，本文采用采用Focal Loss的方法进行调节不同类别的在损失中的权重。
在这里插入图片描述

2.1 数据增强

数据增强主要采用原图的像素维度的数据增强和空间维度的数据增强。

像素维度的数据增强包含：像素化处理、运动模糊、高斯模糊、油画处理、磨砂玻璃处理、超像素化处理、缩放模糊处理、灰度处理、添加噪点、随机阴影处理；

在这里插入图片描述

空间维度的数据增强包含：随机裁剪、中心裁剪、水平翻转、垂直翻转、平移、随机旋转；其中数据增强方法采用基于Albumentations库进行，但是在进行空间维度的数据增强时发现，BBox的数据增强与Mask的数据增强无法做到一一匹配的问题，为了解决此问题，本文通过只进行mask进行空间维度的数据增强，通过计算每个通道mask的边界信息从而获得对应的BBox，实现BBox与Mask的同步数据增强。