用于受电弓安全状态检测的改进 YOLOV3 算法

抽象的： 受电弓是机车车辆与电网连接的关键部件，受电弓的安全状态对机车车辆的平稳运行至关重要。

本文通过逐帧分析车载视频监控系统监控的受电弓视频图像，通过修改工业上广泛使用的YOLOV3目标识别算法，对受电弓的安全状态进行实时监控，以识别结构。同时受电弓异常、火花、异物侵入。实验证明，在铁诺车载智能分析服务器上，单通道可以达到40fps。综合检测精度mAP@0.5可以达到98%，实现了实时且相对准确的检测结果。

1. 受电弓智能监控

当今基于深度学习的典型目标识别算法有Faster R-CNN算法等两阶段算法和YOLOV3算法等单阶段算法。YOLO算法相比R- CNN网络，减少了计算量，可以实现更快的计算速度。而YOLOV3算法改进了上一代YOLO算法多尺度检测的不足，在识别网络部分具有三个分支，可以应对小、中、大三个尺度的目标识别问题。此外，YOLOV3算法具有更好的工程支持，在大量应用中被工业荣誉使用。因此，在本文中，

2. 受电弓安全状态检测算法构建

2.1 目标抽象

受电弓安全状态检测可分为受电弓结构异常检测、受电弓火灾检测、异物侵入检测等。其中受电弓结构异常又可细分为碳滑板变形、倾斜、左右弓角断裂、左右弓角断裂、右弓角度缺失等。标准、异常状态如图1B-F所示。

图1 受电弓安全状态和算法标注标准

使用目标识别算法，首先需要对识别目标进行抽象，以检测受电弓的安全状态，抽象的识别目标如图1所示。对正常状态和异常状态的受电弓进行统一标注。标出正常状态的弓盘和弓角、异常状态的弓盘和弓角以及火花和异物等目标。然后将标注好的数据放入一个统一的模型中进行训练，一次性识别受电弓的所有安全状态。

2.2 基于GAN神经网络的数据集数据增强

定义检测目标后，我们需要构建自己的受电弓安全状态数据集，使用深度学习方法从数据集中学习受电弓不同状态的必要特征。本文算法构建所需的数据集是从多个模型的全天候受电弓视频监控中截取的。为减少环境对数据特性的影响，在数据资料准备过程中充分考虑光照、遮挡、阴天、雨雪、进出等工作条件。数据集中的受电弓故障状态也全部来自动车组初次运行时出现受电弓故障时的视频监控画面。

考虑到某些故障类型在实际运行情况下发生频率较低，可能导致数据准备不足。类别数据之间的不平衡会显着影响目标识别的效果，因此本文针对不同类别的数据采用了一种基于GAN神经网络的数据增强方法。

生成对抗网络 GAN 包含两个模型，一个生成模型和一个判别模型。生成模型的任务是生成看起来自然逼真且与原始数据相似的实例。判别模型的任务是确定给定的示例是天生真实的还是人为伪造的。 

这可以看作是一场零和游戏。生成器试图愚弄判别器，而判别器试图不被生成器愚弄。通过交替优化训练模型，两个模型都可以改进。在这两个网络的基础上，使用Generator网络生成图像，它接收一个随机噪声z，并通过这个噪声生成图片，记为G(z)。判别器是一个判别网络，用于确定图像是否是"真实的"或不。它的输入是x，x代表一张图片，输出D(x)代表x是一张实际图片的概率。如果为1，则表示100%准确的图片，如果输出为0，则不可能是准确的图片。那么GAN网络的示意图如图2所示。x是实际数据，准确的数据符合Pdata(x)分布。Z为噪声数据，噪声数据符合Pz(z)分布，如高斯分布或均匀分布。然后从有噪声的z开始采样，经过G后生成数据x=G(z)。然后，将实际数据送入分类器D，生成的信息后面跟着一个sigmoid函数，输出确定类别。

                            图2 GAN网络原理示意图

图像到图像的转换是一类视觉和图形问题，其目标是使用一组对齐的图像对来学习输入和输出图像之间的映射。我们的目标是了解 G:X 映射 → 使得来自 G(X) 的照片分布与使用对抗性损失的分布 Y 无法区分。由于这个映射是高度欠约束的，我们将它与逆映射 F: Y → 结合起来，并引入循环一致性损失来推动 F(G(X)) ≈ X（反之亦然）。在不存在配对训练数据的几个任务上给出了定性结果，包括收集方法转换、对象变形、季节转换和照片增强。尽可能选择相似或相似但包含不同特征图像的场景。例如，在同一个场景中，相机脏不脏；相机有下雨和没有下雨的照片。从训练结果可以看出，如果选择的两张图片在位置上相差太大，包含的其他特征太多会影响训练效果和图像生成质量。如果从选定的相似场景生成的图像质量可以接受，则数据增强的影响如图 3 所示。

                                            图3 数据集增强效果

此外，本文还采用过采样的方法来扩展数据集，结合YOLOV3网络，自带数据增强手段，随机分组裁剪、随机翻转、色度变换等操作； 

数据得到有效扩展，增强了算法的适应性，为实际使用部署阶段的对象检测提供了更高的鲁棒性。但是，为了区分左右弓角度，本文算法中关闭了随机翻转和旋转开关。

2.3 基于YOLOV3网络的识别算法优化

YOLOV3的主干部分使用了作者的Darknet53结构，通过结合卷积神经网络（CNN）和残差结构网络（ResNet），可以解决梯度消失和梯度爆炸问题，使深度网络的训练成为可能。此外，该算法不需要预先计算候选框。尽管如此，它还是通过聚类得到了先验的 BondingBox，选择了 9 个簇和三个尺度，并将这 9 个簇均匀地分布在这三个尺度上。但是由于规模问题，YOLO算法的准确率并不是目标识别算法中最好的，尤其是在小目标的检测方面。为了在保持高速的同时提高 YOLOV3 算法的检测精度，对 YOLOV3 的主干进行了修改。具体方法是在darknet53的residual unit中加入channel attention SE模块。变换前后残差网络单元的结构如图4所示。

                 图4 SE模块修改前后的残差结构

SE 模块来自 SENet，代表 Squeeze-and-Excitation Networks，获得了 ImageNet 2017 分类竞赛冠军，其有效性和易于实现性得到认可，并且可以很容易地加载到现有的网络模型框架中。SENet 主要学习通道之间的相关性，过滤掉通道的注意力，稍微增加了计算量，但效果更好。Darknet 的主干部分共有 23 个残差模块单元。本文针对部分残差单元将原始的 Res 单元转化为 SE-Res 单元。为了提高YOLOV3网络对中小目标的检测能力，我们改变的残差单元也位于这两个分支中。SE模块改造的YOLOV3整体网络架构如图5所示。

图5 YOLOV3网络结构图

在识别网络部分，YOLOV3通过上采样和跨层级联，输出三种不同尺度的检测结果更加有效。在损失函数设计部分，通过交叉熵损失函数一次性学习目标置信度、类别和位置，损失函数如公式1所示。

3. 实验结果分析

3.1 铁诺智能分析服务器介绍

现有的车载视频监控系统大多只具备视频监控和存储功能，不具备智能在线分析能力。本文的硬件是借助山东铁诺智能公司开发的板载智能分析服务器实现的，如图6所示。主机搭载华为自主研发的达芬奇架构AI智能芯片ATLAS 3000，可以应对大多数场景的创新分析应用，实现多达16路720p视频的解码和智能分析任务。并且可以将测试结果实时传输到驾驶室或机械师，以便人工查看测试结果并采取相应的安全措施。本文使用该硬件在运行单个摄像机视频通道时实现了 60fps 的计算速度。多路视频4路同时分析也能保证25fps的计算速度，可以实现多路视频实时智能分析的需求。

图6 智能分析服务器及接口图

3.2 受电弓状态识别结果

为了检测受电弓的安全状态，本文构建了自己的受电弓安全状态数据集，包含2388张各种形式的受电弓图片，包括正常状态的受电弓和不同工况下的异常状态的受电弓监控图像。使用darknet框架对标注数据集进行训练，训练过程如图7所示。从图中可以看出，经过12000次迭代，训练loss保持稳定，模型可能陷入局部最优。学习率在 20000 次迭代时调整一次，损失降到 0.1 以下。从 20,000 次迭代开始计算精度的提高并不显着，相应的 mAP 图显示模型的泛化能力略有下降。考虑训练损失和mAP，

图4 受电弓安全状态识别训练流程

将训练好的模型部署到智能分析主机上，需要将训练好的模型转换为华为达芬奇架构支持的om格式，转换过程中精度略有损失，但都在可接受的范围内。

四、总结与展望

本文采用YOLOV3算法检测受电弓的安全状态，包括结构异常、火花、异物侵入等，通过实时视频监控，在兼顾检测速度的同时保证检测精度满足实时要求。时间分析。为使用车载智能分析系统进行受电弓安全检查提供了新思路。