基于改进降噪自编码器的馈线终端失效率预测

赵建军，刘佳林，李洋，王珩瑜，杨挺; ZHAO Jianjun; LIU Jialin; LI Yang; WANG Hengyu; YANG Ting

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于改进降噪自编码器的馈线终端失效率预测 PDF

- ORCID：
赵建军 ¹
✉
- ORCID：
刘佳林 ¹
- ORCID：
李洋 ¹
- ORCID：
王珩瑜 ²
- ORCID：
杨挺 ²

1. 国网冀北电力有限公司智能配电网中心，河北秦皇岛 066100； 2. 天津大学电气自动化与信息工程学院，天津 300072

中图分类号： TM746.2

最近更新：2024-06-03

DOI：10.11805/TKYDA2022124

摘要

配电网中馈线终端设备由于运行环境恶劣，往往面临意外失效问题。本文针对海量馈线终端装置的失效率预测问题，使用堆叠降噪自编码器实现基于馈线终端的各个关键元件的失效率预测；采用基于Dropout的模型正则化方法防止自编码器训练过程中出现过拟合现象，同时采用Adadelta算法对堆叠自编码器进行优化，在保证预测准确率的同时提高学习速率，实现馈线终端故障失效率的高效准确预测；最后基于馈线终端装置现场数据进行仿真验证。仿真结果验证了本文方法对失效率预测的准确性和泛化能力。

关键词

馈线终端装置; Dropout方法; Adadelta算法; 堆叠降噪自编码器

作为构建新型智能配电网的重要电气设备，配电自动化设备承载着智能配电网关键节点运行状态监控、保障配电系统故障准确识别和智能电网运行的任务，其安全稳定工作对于电力系统有着重要意义。考虑到我国国情发展和电力系统的建设现状，目前配电网中仍有大量的老旧配电终端在运行，其发生故障、错误信息误报与漏报的风险与日俱增；同时运行在电网关键节点的配电终端进行停机检修难度大，成本高。如何实现配电终端运行失效率预测，使运营方能够在故障发生前对配电终端进行检修和更换，成为研究者关注的重点。

配电自动化终端设备的主要功能是对配电网柱上开关中的信息进行采集、存储和传输，并将信息上传给智能电网控制中心或云端。其中馈线终端装置(FTU)是配电自动化终端的重要元件，主要运行在10 kV配电网中的环网柜分支箱等重要节点。本文以FTU为主要研究对象，讨论配电终端的运行失效率预测问题，实现维修更换工作的高效进行，减少意外故障造成的计划外停机给电网运行造成的损失和可能的潜在隐患。针对电气设备的失效率预测，现有研究主要集中在物理机理模型法和基于数据驱动的人工智能失效率预测方法。前者通过产品运行过程中外界环境、机械老化、电气损耗等原因入手，建立研究对象的运行全寿命周期可靠性状态模型，并分析出产品的主要失效机理^[

1]，实现被研究对象的失效率预测。文献[2]对智能电表的失效机理进行研究，总结了基于可靠性加速寿命试验为研究手段的智能电能表可靠性预测研究现状，讨论了关于电表可靠性标准规范的制定思路。此思路下的多种方法可以建立基于物理机理的电子元件失效率模型，并具有一定的可解释性，但不能准确解决实际生产应用中由多种机理交互影响的耦合条件下的失效率预测问题。此类方法的可应用性、可拓展性较差。随着计算设备数据处理能力的大幅提升及大数据、人工智能技术的发展，研究者们逐渐倾向使用利用人工智能技术识别并预测隐藏在海量大数据中的隐含规律，实现数据分类、故障诊断、剩余寿命预测等功能^{[参考文献 3

百度学术}3]。文献[4]综合论述了包括基于机器学习技术在内的多种人工智能技术在电力变压器异常运行监测、故障预测领域的应用与展望；文献[5]利用随机森林算法根据电路的时频动态特征实现了对模拟电路故障的高效准确诊断；文献[6]利用反向传播(Back Propagation，BP)与径向基混合神经网络结合模糊推理方法，对智能电表的异常超差状态概率进行预测。在众多人工智能技术中，堆叠降噪自编码器以其较高的模式识别、分类预测精确度和较短的训练时间吸引了研究者的关注^{[参考文献 7

百度学术}7]。文献[8]讨论了进行时变信号分类任务时，基于自降噪自编码器的深度卷积神经网络的应用原理和优势；文献[9]利用半监督对抗自编码器实现了复杂辐射环境下辐射源的准确识别；文献[10]使用栈式降噪自编码器对变压器油色谱中化学成分含量和变压器温度数据进行数据清洗，提高了设备运行异常状态的识别能力。由此可见，人工智能技术在剩余寿命失效率预测等方面具有良好的应用前景。尽管堆叠降噪自编码器在解决分类预测问题上表现出一定的优势，但仍存在收敛速度慢、运行后期学习速度不高的问题，并且目前针对馈线终端装置的失效率问题还缺乏采用人工智能的针对性辨识方法的研究，没有综合考虑关键元件失效率的FTU整体失效率预测研究。

本文采用馈线终端设备的各元件运行参数，利用基于Adadelta算法改进的堆叠降噪自编码器训练，并检测失效率预测模型，通过基于元件失效率的总体失效率预测实验验证本文方法的优点。

1 馈线终端装置结构及功能分析

FTU负责配电网电力流动调配的监测、储存、信息传输、控制等任务，具有三遥(遥信、遥测和遥控)以及故障检测等功能，涵盖了配电网安全运行的各方面，其稳定运行和对故障信号的准确响应对智能电网的稳定运行具有重要的意义。FTU主要由以下几大模块组成：遥测模块、遥信模块、遥控模块、通信模块、电源管理模块，主要组成结构如图1所示，图中PLC(Power Line Carrier‒PLC)为电力线载波。

图1 馈线终端装置主要模块结构图

Fig.1 Model structure of feedback terminal unit

FTU的遥测模块负责完成对配电网中的电压、电流、功率因数、视在功率等模拟量信号进行采集和A/D转换，为智能配电控制中心实现配电网运行状态监控提供数据支持。FTU可以通过遥信模块对配电网开关节点上的开关信号、保护装置动作信号、各种闭锁信号等多种重要状态信号进行实时监测，当配电网开关节点连接状态发生变化时，FTU可将变位信号发送给上级控制节点。控制中心将配电网控制指令发给FTU后，FTU通过遥控模块实现对配电网开关的控制。同时，FTU的通信模块能够通过电力载波通信、4G/5G无线通信、光纤等多种手段，实现与配电网上级通信节点以及与相邻FTU的通信。FTU的稳定运行需要交、直流供电系统通过电源管理模块为FTU的不同模块提供 $\pm 5 V$ 、 $\pm 12 V$ 等多种电压，电源管理系统需要具有能够在主电源供电能力失效时迅速切换至多种备用供电系统的能力，同时具有在电路谐振等危险状况发生时切断电路的功能，以保护FTU设备本身以及储存的重要数据。

FTU由多种模块组成，并配合实现配电网运行状态采集、关键开关节点控制等功能。若某一模块或其组成元件出现问题时，可能造成FTU意外失效，进而降低控制中心对配电网运行状态的掌控能力。因此对FTU的失效率进行研究和预测，能够给FTU的维护和检修工作提供依据，助力配电网的稳定运行。

2 基于堆叠降噪自编码器实现FTU失效率预测

本文针对海量馈线终端装置的失效率预测问题，使用改进的堆叠降噪自编码器实现基于馈线终端的各个关键元件的失效率预测。堆叠自编码器由多个自编码器的输入和输出连接堆叠形成层叠结构，这种堆叠结构能够提高发现复杂模型中隐藏规律的能力。提出的改进堆叠降噪自编码器结构如图2所示，其基本思想是将编码器和解码器进行全连接，在没有任何监督的情况下，将FTU的运行参数作为输入数据编码到低维潜在空间，实现FTU运行状态和潜在失效概率的有效表征；再以复制输入为目标，对编码压缩数据进行解码操作。FTU失效率预测模型的输入分别为数据采集、故障检测、电源管理、通信模块和储存模块的失效率，输出为智能电能表的整表失效率。通过FTU模块的原始数据，如电路原理图、影响因子、关键元件可靠性手册等获得遥信模块、遥测模块、遥控模块、通信模块、电源管理模块在加速寿命实验条件下随运行时长变化的失效率P_RA、P_RD、P_RC、P_COM、P_PM作为神经网络输入值；同时通过每一批次电能表的失效数量以及来自生产调度中心的运营数据获得的FTU总体失效率，作为神经网络的输出值P_{EST_TOT}。

图2 堆叠降噪自编码器结构图

Fig.2 Structure of the stacked denoising autoencoder

自编码器通常由输入层、隐藏层和输出层组成，传统结构中隐藏层的神经元个数少于输入层神经元个数，同时输出层的神经元个数等于输入层的神经元个数。由于单个自编码器均为浅层神经网络结构，可以减少训练过程中陷入局部最优的风险。

自编码器的输入为x，输出y的表达式为：

y = s (w x + b)

(1)

式中： $x = [x_{1}, x_{2}, x_{3}, x_{4}, x_{5}]$ ，其中 $x_{1}, x_{2}, x_{3}, x_{4}, x_{5}$ 分别为FTU的遥信模块、遥测模块、遥控模块、通信模块和电源管理模块失效率；w为编码器的权重矩阵；b为隐含层的偏置向量；s为激活函数。

在编码与解码过程中，常用的激活函数有logistic函数和正饱和线性传递函数等。当自编码器的解码重构数据与原始输入数据不同时，便会有损失函数惩罚模型，稀疏正则化的自编码器损失函数E通常可表示为：

E = \frac{1}{N} \sum_{k = 1}^{N} {[x (k) - x' (k)]}^{2} + λ Ω_{w} + β Ω_{s}

(2)

式中：x(k)为时窗k的输入信号；x′(k)为时窗k的重构信号；N为时窗总长度； $Ω_{w}$ 为L₂加权正则项； $Ω_{s}$ 为稀疏正则项； $λ$ 、 $β$ 分别为 $Ω_{w}$ 、 $Ω_{s}$ 对应的系数。

3 基于Adadelta算法的学习效率优化

堆叠自编码器层数较多，训练较为复杂，需要对学习速率进行优化，控制全局收敛速度，保证训练结果的准确性。本文采用Adadelta算法优化自编码器的学习速率，Adadelta算法的优化思路脱胎自Adagrad算法。Adadelta算法在实行小幅值更新高频参数和大幅值更新低频参数的同时，将累加操作的可行时间窗限制在大小为w的窗口内，而非梯度简单累加的方式实现学习速率的优化控制，解决FTU失效率预测训练迭代后期学习速率变慢的问题。其基本思想是使用一阶的近似方法模拟二阶牛顿法，将累计梯度信息从全部历史梯度变为当前时间向前一个窗口期内的累积。Adadelta算法的学习率更新公式为：

E [g_{t}^{2}] = ρ E [g_{t - 1}^{2}] + (1 - ρ) g_{t}^{2}

(3)

式中E[ $g_{t}^{2}$ ]为第t次迭代过程中的学习率变化量，相当于历史梯度信息的累计乘上一个衰减系数ρ，然后用(1-ρ)作为当前迭代次数学习率的平方加权系数相加。当ρ=0.5时，式(3)变为求梯度平方和的平均数。

将E[ $g_{t}^{2}$ ]开方后得到下一次迭代的学习率衰减系数，因此Adadelta方法的更新规则为：

Δ x_{t} = - \frac{η}{R_{M S} [g_{t}]} g_{t}

(4)

x_{t + 1} = x_{t} + Δ x_{t}

(5)

式中：Δx_t为第t次迭代到第t+1次迭代学习率的变化量；x_t₊₁为第t+1次迭代过程中堆叠自编码器学习率； $R_{M S}$ $[g_{t}]$ 表示对 $[g_{t}]$ 取均方根； $η$ 为Adadelta算法的全局学习率。

4 基于Dropout的模型正则化方法

传统自编码器通过几十次迭代训练即可达到较好的效果，但易出现过拟合现象，通过随机失活(Dropout)正则化、增加输入样本噪声等方法可提高自编码器在解决不同模型、不同任务时的泛化能力。本文方法对FTU子模块加速寿命实验中的失效率数据增加了高斯噪声，如式(6)所示：

\{\begin{array}{l} X_{D - D e n o i s e d} = X_{D} + N_{F} X_{N N} \\ X_{N N} \sim N (0,1) \end{array}

(6)

式中：X_D和X_D-Denoised分别为原始样本和噪声处理后的失效率样本数据；N_F为噪声因数；X_NN为服从正态分布的随机数据的噪声，其均值为0，标准差为0.01。

神经网络前向传播过程中往往容易出现某一个神经元的输出对整体输出结果影响较大，导致最终结果极度依赖于某一特定神经元的情况。针对这一问题最有效的解决方案是采用Dropout方法对神经元进行正则化操作^[

11]。因此本文在输入层间进行Dropout操作，通过让部分神经元随机失活，降低某些神经元的依赖程度，在训练阶段减弱特定神经元对最终结果的影响，增强模型的泛化能力。Dropout方法的基本思路是：首先将自编码器的原始训练集数据随机分成若干组，预设一个Dropout概率P_d，在堆叠自降噪自编码器训练迭代过程中，使隐含层中的每个神经元以P_d的概率随机失效，并更新剩余的神经网络参数；设一个取值为0或1的随机变量

ξ

，其中

ξ = 1

的概率为P_d，

ξ = 0

的概率为1-P_d，之后再使用失效处理前的参数恢复被停用的神经元节点，以此提高神经网络训练结果的泛化能力，降低自降噪编码器对某几个对预测准确性影响权重较高的神经元的依赖，进而达到模型正则化的目的。

Dropout模型正则化为：

n_{l, i}^{D} = \frac{ξ}{1 - P_{d}} n_{l, i}

(7)

式中 $n_{l, i}^{D}$ 和 $n_{l, i}$ 分别为第l层自编码器隐藏层中经过Dropout操作之前和之后的第i个神经元。

综上得到本文堆叠降噪自编码器的工作流程为：在训练样本中加入噪声信号，使用Dropout正则化操作训练第1个降噪自编码器，训练完成后去掉其输出层并新增一层隐含层，原隐含层和新隐含层构成新的降噪自编码器部分，并重复上述操作，直至最后一组降噪自编码器的训练完成。在最后一个降噪自编码器的隐含层顶端加入输出层，构成本文FTU失效率预测模型的网络结构；同时采用Adadelta算法对整个堆叠降噪自编码器训练过程进行优化。基于改进堆叠降噪自编码器的馈线终端设备失效率预测流程如图3所示。

图3 经Adadelta优化和正则化操作的堆叠降噪自编码器流程图

Fig.3 Flowchart of SDAE with improvements of Adadelta and regularization

5 实验验证

为检验本文提出的馈线终端失效率预测方法的有效性，选择某型号的馈线终端作为研究对象，分别使用本文提出的改进型堆叠降噪自编码器算法、传统堆叠降噪自编码器算法、动态贝叶斯网络法(Dynamic Bayesian Network，DBN)和应力法进行馈线终端失效率实验。采用均方根误差(Root Mean Squared Error，RMSE)和平均绝对百分比误差(Mean Absolute Percentage Error，MAPE)2个指标衡量编码器训练结果：

E_{R M S E} = \sqrt[]{\frac{1}{n} \sum_{i = 1}^{n} ({\hat{z}}_{i} - z_{i})^{2}}

(8)

E_{M A P E} = \frac{1}{n} \sum_{i = 1}^{n} \frac{|{\hat{z}}_{i} - z_{i}|}{z_{i}} \times 100 %

(9)

式中：n为样本个数；z_i和 ${\hat{z}}_{i}$ 分别为单个样本和样本均值。

为实现较好的自编码器训练效果，需要合理设置堆叠降噪自编码器的各项参数，在保证较好的失效率预测准确率的同时，保持预测的泛化能力。本文使用的堆叠降噪自编码器，共有3个隐藏层，其隐藏神经元个数分别为21、15和8，稀疏性参数为0.05，系数惩罚项权重系数为0.01，节点去除概率为0.05。

对某型号FTU同一批次的设备进行失效率预测。对堆叠子降噪自编码器进行50代训练，并以MAPE作为参数观察Adadelta对训练过程的优化结果，如图4所示。经过Adadelta算法优化的堆叠降噪自编码器能够随着训练过程的推进而保持较强的收敛能力。

图4 堆叠降噪编码器Adadelta优化效果对比

Fig.4 Performance comparison of SDAE with and without Adadelta optimization

为横向比较本文提出失效率预测方法的准确性，将本文方法与传统堆叠降噪自编码器算法、动态贝叶斯网络法(DBN)和应力法进行比较，使用馈线终端各个元件的失效率对终端的失效率进行预测。本文对某型号FTU不同生产日期的4个批次的各23个设备进行了测试，实验结果如表1所示。

表1 4种失效率预测方法结果比较

Table1 Comparison of different failure rate estimation methods

different failure rate prediction methods	1st batch	2nd batch	3rd batch	4th batch
different failure rate prediction methods	E_RMSE E_MAPE/%	E_RMSE E_MAPE/%	E_RMSE E_MAPE/%	E_RMSE E_MAPE/%
modified SADE	3.98 4.98	4.79 4.79	4.28 4.28	3.60 4.48
traditional SADE	6.48 6.17	5.68 5.86	6.64 6.38	5.68 6.82
DBN	7.24 8.07	8.65 7.89	6.81 7.59	6.89 8.97
electric stress method	9.15 9.45	11.24 11.05	9.71 10.98	8.25 9.61

由表1可知，对于第一批次FTU的数据，本文提出的改进堆叠降噪自编码器算法比传统堆叠降噪自编码器算法、DBN法和应力法的RMSE分别降低了2.50、3.26和5.17，MAPE分别降低了1.19、3.09和4.47个百分点。

针对4种不同批次的馈线终端进行的失效率预测实验表明，与传统预测方法相比，本文提出的改进算法在处理不同批次的终端失效率预测问题时都表现出较高的准确性，证明了本文提出算法的泛化能力。

6 结论

本文针对智能电网中的重要组成部件馈线终端的失效率预测问题，使用改进的堆叠降噪自编码器进行失效率预测，同时利用Adadelta算法对多层编码器的学习速率进行优化，在保证准确性的同时，降低了计算成本，优化了神经网络学习速率。与传统失效率预测方法的对比试验，证明了本文提出的算法有较高的准确度和较强的泛化能力。

参考文献

徐波,韩学山,孙宏斌,等. 状态部分可观测条件下电力设备状态检修决策模型[J]. 中国电机工程学报, 2018,38(14):4107-4116. [百度学术]

XU Bo,HAN Xueshan,SUN Hongbin,et al. Condition-based maintenance optimization model for partially observable power equipment[J]. Proceedings of the CSEE, 2018,38(14):4107-4116. doi:10.13334/j.0258-8013.pcsee.171221. [百度学术]

张乐平,胡珊珊,梅能,等. 智能电能表可靠性研究综述[J]. 电测与仪表, 2020,57(16):134-140. [百度学术]

ZHANG Leping,HU Shanshan,MEI Neng,et al. Overview of research on reliability of smart meter[J]. Electrical Measurement & Instrumentation, 2020,57(16):134-140. doi:10.19753/j.issn1001-1390.2020.16.023. [百度学术]

袁烨,张永,丁汉. 工业人工智能的关键技术及其在预测性维护中的应用现状[J]. 自动化学报, 2020,46(10):2013-2030. [百度学术]

YUAN Ye,ZHANG Yong,DING Han. Research on key technology of industrial artificial intelligence and its application in predictive maintenance[J]. Acta Automatica Sinica, 2020,46(10):2013-2030. doi:10.16383/j.aas.c200333. [百度学术]

刘云鹏,许自强,李刚,等. 人工智能驱动的数据分析技术在电力变压器状态检修中的应用综述[J]. 高电压技术, 2019,45(2):337-348. [百度学术]

LIU Yunpeng,XU Ziqiang,LI Gang,et al. Review on applications of artificial intelligence driven data analysis technology in condition based maintenance of power transformers[J]. High Voltage Engineering, 2019,45(2):337-348. doi:10.13336/j.1003-6520.hve.20190130001. [百度学术]

王玲,周东方,生拥宏,等. 基于随机森林算法的模拟电路故障诊断[J]. 太赫兹科学与电子信息学报, 2018,16(5):912-917. [百度学术]

WANG Ling,ZHOU Dongfang,SHENG Yonghong,et al. Fault diagnosis of analog circuits based on Random Forest algorithm[J]. Journal of Terahertz Science and Electronic Information Technology, 2018,16(5):912-917. doi:10.11805/TKYDA201805.0912. [百度学术]

金阳忻. 基于模糊神经网络的电能表误差超差风险预测模型[J]. 电网技术, 2019,43(6):1962-1968. [百度学术]

JIN Yangxin. Electrical power meter error overproof calculation model based on fuzzy neural network[J]. Power System Technology, 2019,43(6):1962-1968. doi:10.13335/j.1000-3673.pst.2019.0081. [百度学术]

JIANG Guoqian,HE Haibo,XIE Ping,et al. Stacked Multilevel-Denoising autoencoders:a new representation learning approach for wind turbine gearbox fault diagnosis[J]. IEEE Transactions on Instrumentation and Measurement, 2017,66(9):2391-2402. doi:10.1109/TIM.2017.2698738. [百度学术]

朱喆,许少华. 降噪自编码器深度卷积过程神经网络及在时变信号分类中的应用[J]. 计算机应用, 2020,40(3):698-703. [百度学术]

ZHU Zhe,XU Shaohua. Denoising autoencoder deep convolution process neural network and its application in time-varying signal classification[J]. Journal of Computer Applications, 2020,40(3):698-703. [百度学术]

林子榆,王翔,孙丽婷,等. 基于深度自编码器的辐射源个体开集识别[J]. 太赫兹科学与电子信息学报, 2022,20(12):1285-1291. [百度学术]

LIN Ziyu,WANG Xiang,SUN Liting,et al. Open set recognition of specific emitter identification based on deep auto-encoder[J]. Journal of Terahertz Science and Electronic Information Technology, 2022,20(12):1285-1291. doi:10.11805/TKYDA2021180. [百度学术]

代杰杰,宋辉,杨祎,等. 基于栈式降噪自编码器的输变电设备状态数据清洗方法[J]. 电力系统自动化, 2017,41(12):224-230. [百度学术]

DAI Jiejie,SONG Hui,YANG Yi,et al. Cleaning method for status data of power transmission and transformation equipment based on stacked denoising autoencoders[J]. Automation of Electric Power Systems, 2017,41(12):224-230. doi:10.7500/AEPS20161201003. [百度学术]

SRIVASTAVA N,HINTON G,KRIZHEVSKY A,et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014,15(1):1929-1958. doi:10.5555/2627435. 2670313. [百度学术]