基于多帧图像信息与 Transformer 的弓网燃弧检测算法研究

张 雄¹, 吴 卓²
1、北京轨道交通技术装备集团有限公司 北京 100071
2、北京京投轨道交通技术研究院有限公司 北京 100071

摘要

弓网燃弧的发生在相机成像上存在较明显的特征，因此可基于计算机视觉进行燃弧检测。但燃弧的判断易与环境中的其他干扰项混淆。传统的图像处理技术对燃弧的亮度与边缘形态等有较多的假设通用性差。基于深度学习模型的燃弧检测算法虽可通过大量样本进行训练但仅基于单帧图像作为输入，无效利用多帧图像信息。本文采用人工特征提取的方式对连续多帧图像进行降维，将预处理信息输入至Transformer 模型中学习燃弧特征，利用单帧图像的亮度信息与连续多帧图像亮度的动态变化信息进行燃弧判断。且通过测试可知，相较于基于单帧图像作为输入，本算法采用多帧图像输入时效果更佳。

关键词

燃弧；深度学习；单帧；多帧；人工特征提取；Transformer

参考

[1]张振琛,顾桂梅,李占斌.基于图像处理的弓网燃弧检测方法[J].兰州交通大学学报, 2020, 39(2):7.DOI:CNKI:SUN:LZTX.0.2020-02-008.[2]杨恒,伍川辉,吴琛.基于图像处理弓网燃弧检测研究[J].铁道科学 与 工 程 学 报 , 2018, 15(4):6.DOI:10.3969/j.issn.1672-7029.2018.04.028.[3]吴琛,伍川辉,杨恒,等.基于 LabVIEW 图像处理的弓网拉弧在线监 测 研 究 [J]. 铁 道 标 准 设 计 , 2018, 62(9):4.DOI:10.13238/j.issn.1004-2954.201711210005.[4]Mnih V , Heess N , Graves A ,et al.Recurrent Models of Visual Attention[J].Advances in Neural Information Processing Systems, 2014, 3.DOI:10.48550/arXiv.1406.6247.[5] 权 伟 , 刘 洋 . 一 种 受 电 弓 与 接 触 网 燃 弧 视 觉 检 测 方法:CN202211373615.X[P].CN115861870A[2024-05-03].[6]权伟,郭少鹏,周宁,等.一种电气化铁路弓网燃弧视觉检测方法.CN202110102075.0[2024-05-04].[7]张雯. 基于注意力机制的弓网燃弧检测算法研究[D]. 北京:北京交通大学,2022.[8]Dosovitskiy A , Beyer L , Kolesnikov A ,et al.An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale[C]//International Conference on Learning Representations.2021.[9]Carion N, Massa F, Synnaeve G, et al. End-to-end object detection with transformers[C]//European conference on computer vision. Cham: Springer International Publishing, 2020: 213-229.