深度学习多模态融合的激光雷达点云与视频图像目标检测研究

程 晓悦¹, 严 璐¹, 冯 迎东¹, 刘 科岢¹, 张 恒畅²
1、南京莱斯信息技术股份有限公司
2、南京航天航空大学数学学院

摘要

随着智慧机场、飞机自动泊位引导系统、机坪安全监控以及跑道入侵监控等航空安全管理技术的快速发展，机场
场景对多源感知数据的高精度、实时性与鲁棒性提出更高要求。激光雷达点云具备三维空间尺度稳定的优势，视频图像在
纹理、边缘与语义层面表现突出，将二者进行深度学习框架下的多模态融合，有助于提升机场关键区域的目标识别性能。
本文在梳理多模态检测研究现状的基础上，围绕特征对齐、融合策略与网络结构展开研究，通过构建点云与图像的统一特
征表达空间，并比较显式与隐式融合在航空场景中的性能差异，提出适用于机坪复杂动态环境的新型融合模型。实验结果
表明，多模态融合技术在机坪车辆调度、飞机滑行监测、跑道异物检测等场景中显著提升目标检测鲁棒性，可为智慧机场
核心安全系统提供方法参考。本文进一步展望了该技术在未来机场智能化中的发展方向。

关键词

激光雷达点云；视频图像；多模态融合；深度学习；智慧机场检测

参考

[1] 张伟 , 李强 . 激光雷达点云处理技术研究进展 [J]. 计

算机工程 , 2022.

[2] 刘芳 , 周凯 . 基于深度学习的图像目标检测综述 [J].

软件学报 , 2021.

[3] 王磊 , 陈晨 . 多模态融合技术在自动驾驶中的应用研

究 [J]. 电子技术应用 , 2023.