基于多任务 transformer 的智能驾驶感知框架

搜索

全文直达

引用

打印

摘要：视觉智能感知是自动驾驶领域中的一项关键任务，其通过实时监控驾驶道路环境来实现车辆安全行驶。单独的驾驶感知任务性能已经达到瓶颈，开发新的技术以提升任务性能是一个艰难的挑战。当前多任务协同的智能感知是一个有效的解决思路，其利用任务间的有用信息来提升所学任务泛化性能。为了应对这个挑战，我们以驾驶感知中两个关键任务（车道线检测和驾驶道路区域分割）为例，提出一种多任务学习框架，其利用这两个任务间的相关性来提升检测任务和分割任务性能。首先，通过骨干网络提取输入图像的特征。然后，通过 transformer提取图像场景的全局特征，并且在编码器和解码器中分别为驾驶道路区域分割任务和车道线检测任务设置不同的检测头。在此基础上，道路分割检测头通过 U-net 网络实现道路区域分割，车道线检测头通过多层感知机实现出车道线路径划分。最后，通过自动加权求和多个损失函数来同时学习多个任务。我们在 BerkeleyDeepDrive100K（BDD100K）数据集上验证该框架的有效性。实验结果表明，该框架在各个指标中均显著优于当前流行的多任务和单任务方法，并保持每秒超过 36.4 帧的实时推理。

关键词：

多任务；车道线检测；道路区域分割；视觉 transformer

Universe Scientific Publishing

ISSN：2705-0467

年,卷(期)：2022,4(8)