Nullmax开源ROD自动驾驶数据集，「复制粘贴」解决少见目标检测难题

在自动驾驶领域，目标检测是一项富有挑战性的工作，尤其是一些出现频率较低的特殊目标，常因数据不足导致检测效果一般。对此，Nullmax的感知团队提出了一项针对少见目标检测的数据增强方法，并将相应数据集开源上线，为行业解决数据缺乏难题，应对长尾挑战提供研究参考。

对于自动驾驶车辆而言，准确识别各类目标和障碍物信息，可以有效保障行驶安全。因此感知系统既要检测一些路上常见的目标，比如车辆、行人、交通标识等，也要检测了一些少见的目标，比如锥形筒、交通警示桶、三角警示牌，等等。

这些检测少见目标的神经网络模型，和其他常见目标的检测模型一样，需要大量的标注数据进行训练。但这类目标出现概率很低，所以获取训练数据需要耗费大量的成本和时间。

因此，Nullmax的感知团队提出了一种基于交通场景信息的数据增强方法，通过Copy-Paste方式零成本生成高度逼真的训练样本，解决少见目标检测的数据难题。实验结果显示，Nullmax的新方法可以显著提升少见目标检测的任务效果。

同时，Nullmax建立了专用于自动驾驶少见目标检测的数据集Rare Object Dataset（ROD），并在近期正式开源上线。ROD是该细分领域内的首个公开数据集，可以为目标检测、数据增强等方面的研究者提供稀缺的数据，研究特殊目标检测相关课题。

ROD自动驾驶数据集

Nullmax推出的ROD是一个多样化的真实世界数据集，当中包含大量训练图像和验证图像，并对小车、卡车、巴士、行人和自行车这5类常见目标进行了相应标注。

此外，ROD还提供了3类典型少见目标的掩膜，可用于少见目标检测和数据增强方法的研究，当中包括大约1000个锥形筒、100个交通警示桶和50个三角警示牌的掩膜数据。

ROD具有良好的数据多样性，覆盖了自动驾驶的不同场景。它包含了不同的道路级别，包括高速公路、快速路、城市街道以及乡村道路；不同的天气状况，比如晴天、阴天和雨天；以及不同的时间段，包括白天、傍晚和夜间。

ROD数据集现已开放下载：https://nullmax-vision.github.io/

基于交通场景信息的数据增强

为了解决少见目标检测的数据难题，Nullmax的感知团队提出了结合交通场景的数据增强方法，通过简单有效的Copy-Paste增强方式生成逼真的训练数据，获得了出色的检测效果。

这项研究获得了ICRA 2022收录，全文地址：https://arxiv.org/pdf/2205.00376.pdf

通常来说，训练样本较少的目标检测任务可以看作是面向不平衡或长尾的数据集。有一些研究者，通过重采样训练数据和调整损失函数权重来解决这个问题，但这类方法对于专家经验较为依赖。

数据增强是解决数据稀缺问题的另一个研究方向，旨在通过最小代价生成大量带标注的训练样本。数据增强大致可以分为图像级增强和实例级增强，当包含特定目标类别的图像级训练数据达到一定数量时，前者是一种有效的方法；反之，则是实例级数据增强更为适合。

Nullmax采用的Copy-Paste方式，就是一种常见的实例级数据增强，它从源域复制特定目标类别的实例掩膜粘贴到目标域。通过系统性的研究，我们证明了在自动驾驶领域，通过结合交通场景信息的Copy-Paste数据增强方式，可以达到出色的少见目标检测性能。

具体来说，Nullmax利用源域的目标掩膜进行实例级变换，创建逼真的目标实例。并将交通场景信息用作全局的几何约束，将局部自适应的实例掩膜粘贴到目标图像上，生成训练数据。最后，再通过局部和全局的一致性保证训练数据的质量和真实度。

Nullmax提出的方法包括了3个主要环节：

1. 收集目标实例掩膜和背景图像。在Nullmax的研究中，所有的背景图像来自于不同的真实交通场景。以锥形筒为例，它会涵盖不同的类型、颜色和大小。
2. 通过理解交通场景信息，计算实例掩膜的粘贴位置。在背景图像上随机粘贴目标，效率低下，而且目标之间的关联可能与真实交通场景不符。Nullmax的方法以交通环境信息为约束，考虑相机内外参，进行实例掩膜的叠加。
3. 对实例掩膜进行局部自适应转换。为了确保目标掩膜无缝粘贴到背景图像中，Nullmax使用了一系列局部自适应的数据增强策略：基于感知的景深，缩放粘贴对象；应用多种实例级混合策略，确保图像接缝尽量平滑；以及局部自适应的颜色变换（HSV）。

实验显示，Nullmax提出的数据增强方法在锥形筒检测中取得了出色效果，并且这一方法也能够推广至其他类型的少见物体检测任务当中。

此外，Nullmax也研究了各组件的效果，分析了方法中实例掩膜域、实例掩膜数量和强化训练图像数量的敏感性，证明了这一方法可为少见物体检测任务提供有效的训练图像。

加入我们

在自动驾驶领域，除常规的目标检测之外，数据增强在少见目标检测方面的应用鲜有人研究。我们提出的基于交通场景信息的Copy-Paste数据增强方法，可以简单高效地解决自动驾驶领域中因数据稀缺所带来的少见目标检测难题。

未来，我们希望通过增量训练对少见目标检测展开进一步研究。

欢迎对目标检测任务感兴趣，以及有志于计算机视觉和自动驾驶感知研发的同学，加入我们！