基于多尺度特征融合平滑调制神经网络的车辆颜色识别

车辆颜色识别 (VCR) 在智能交通管理和刑事调查协助中至关重要。然而，现有的车辆颜色数据集仅涵盖13类，无法满足当前的实际需求。此外，尽管在 VCR 方面做出了很多努力，但它们仍面临数据集中类别不平衡的问题。

为了解决这些问题，胡明迪领导的研究团队在高等教育出版社和施普林格·自然联合出版的《计算机科学前沿》上发表了他们的最新研究成果。

该团队提出了一种基于多尺度特征融合平滑调制神经网络(SMNN-MSFF)的新型 VCR 方法。他们提出了一个包含 24 种车辆类别的新 VCR 数据集，即 Vehicle Color-24。并提出了多尺度特征融合和平滑调制的SMNN-MSFF模型。前者旨在从局部到全局提取特征信息，后者可能会增加尾部类实例图像的损失，以进行类不平衡的训练。广泛的消融研究表明，该方法的每个模块都是有效的，特别是平滑调制有效地有助于少数或尾类的特征学习。对 Vehicle Color-24 和之前三个代表性数据集的综合实验评估表明，所提出的 SMNN-MSFF 优于最先进的 VCR 方法。

在研究中，他们构建了一个包含 24 种车辆颜色的新数据集，称为 Vehicle Color-24。Vehicle Color-24的颜色分为24种，包括红色、深红色、粉色、橙色、深橙色、红橙色、黄色、柠檬黄、土黄色、绿色、深绿色、草黄色。绿色、青色、蓝色、深蓝色、紫色、黑色、白色、银灰色、灰色、深灰色、香槟色、棕色和深棕色。Vehicle Color-24可以弥补当前实际车辆交通管理和犯罪车辆跟踪应用的需求。

然后，他们提出了一种基于 SMNN-MSFF 的新型车辆颜色识别方法。首先，该算法开始关注任何数据集中存在的颜色分布不平衡性质。损失函数对网络进行微调，使算法能够通过消融实验比焦点损失更好地捕获小规模类的特征。其次，该网络增加了FPN模块来提取边角信息，有助于提取车辆形状特征和局部位置信息以辅助车辆识别。第三，该主干网络设计只有42层，属于轻量级网络，以缓解存储压力，增加实际应用中实现的可能性。

实验结果表明，本文方法在识别 24 种颜色时的 mAP 为 94.96%。所提出的 SMNN-MSFF 优于最先进的 VCR 方法，并且更好地满足车辆颜色精细分类的要求。

然而，由于实际环境会受到不可预测因素的影响，且车辆颜色分布存在长尾效应，因此仍需进一步努力提高车辆颜色的精细识别能力。未来的工作将继续研究类别不平衡的解决方案，因为车辆颜色是多样化的，并且车辆颜色数据集必须具有长尾分布的特征。