Gram-Schmidt regression and application in cutting tool abrasion prediction

Wang Huiwen; Chen Meiling; Gilbert Saporta

Volume 34 Issue 06

Jun. 2008

Turn off MathJax

Article Contents

Abstract

References

Journal of Beijing University of Aeronautics and Astronautics > 2008 > 34(06): 729-733.

ZHOU X，LIN J Q. Prediction of ground air conditioner energy consumption based on improved long short-term memory neural network[J]. Journal of Beijing University of Aeronautics and Astronautics，2023，49（10）：2750-2760 （in Chinese） doi: 10.13700/j.bh.1001-5965.2021.0715

Citation:

Wang Huiwen, Chen Meiling, Gilbert Saportaet al. Gram-Schmidt regression and application in cutting tool abrasion prediction[J]. Journal of Beijing University of Aeronautics and Astronautics, 2008, 34(06): 729-733. (in Chinese)

Citation:

PDF( 353 KB)

Gram-Schmidt regression and application in cutting tool abrasion prediction

1.
School of Economics and Management, Beijing University of Aeronautics and Astronautics, Beijing 100191, China
2. School of Science, Beijing University of Aeronautics and Astronautics, Beijing 100191, China
3. Conservatoire National Des Arts et Métier, Paris 75141, France

Received Date: 05 Jun 2007
Publish Date: 30 Jun 2008

Abstract

Abstract

Multiple linear regression is one of the most widely applied statistical methods in scientific research fields. However, the ordinary least squares method will be invalid when the independent variables set exists server multicolinearity problem. A new multiple linear regression method, named Gram-Schmidt regression, was proposed by the use of Gram-Schmidt orthogonal transformation in the modeling process. Not only can it screen the variables in multiple linear regression, but also provide a valid modeling approach under the condition of server multicolinearity. The method was applied to the prediction of the flank wear of cutting tool in the turning operation. The results demonstrate that the variable screening is reasonable and the model is highly fitted.
- Gram-Schmidt orthogonal transformation,
- multiple linear regression,
- multiple correlation,
- cutting tools abrasion,
- prediction

FullText(HTML)

近些年来，中国政府正在大力推进绿色减排技术的研发及推广，并将“双碳”战略写进国家规划。为响应国家号召，中国民用航空局提出建设绿色机场，包括资源节约、运行高效、低碳减排等内容，建设绿色机场离不开对机场设备智慧化、绿色化的研究。为减少使用高污染、高价格的航空煤油，航空公司主要使用地面空调设备替代机载空调对停靠在地面的飞机进行通风、降温和除湿。准确预测飞机地面空调能耗，可以为机场控制能源消耗、合理分配电力资源提供科学的参考，满足高效、节能及保证客舱热舒适性等需求。

目前，关于地面空调能耗预测的研究主要是利用神经网络建立输入与输出之间的映射关系，假设该映射关系在未知数据集上仍然成立，将未知数据集的输入代入映射关系中，得到的输出即为预测结果。王修岩等^[1]使用小波神经网络对飞机地面空调能耗进行预测，利用珊瑚礁和粒子群联合算法优化模型中的超参数；林家泉等^[2]提出一种基于改进粒子群优化（improved particle swarm optimization, IPSO）Elman模型的飞机地面空调能耗预测方法。文献[1-2]关于飞机地面空调能耗预测的研究具有一定的价值，但未能有效利用数据中的时间规律，使用的模型也较为简单，预测精度仍有提升的空间。文献[3-4]提出长短时记忆(long short-term memory, LSTM)神经网络，其可对流动的信息进行选择性的添加或删除，LSTM神经网络及其变体是目前在时间序列预测问题研究中应用最广泛最有效的模型之一，史亚菲等^[5]提出一种基于LSTM神经网络的时间触发以太网（time-triggered ethernet, TTE）网络约束流量预测方法，Cui等^[6]使用LSTM神经网络预测电力负荷，文献[3-6]在预测精度上有一定的提升，但忽视了LSTM神经网络的3点不足。首先，LSTM神经网络只能挖掘来自过去的时间序列特征，所以有学者使用2个方向相反的LSTM神经网络组成双向长短时记忆(Bi-directional long short-term memory, BiLSTM)神经网络，并将其应用在时间序列预测领域中。文献[7-8]表明：与单层LSTM模型相比，BiLSTM神经网络能够对数据进行更多的训练，通过挖掘更多的时间序列特征来提高预测精度。其次，LSTM神经网络无法区分时间序列特征的重要程度，容易遗漏重要特征。针对该问题，众多学者在预测模型中添加注意力机制(attention mechanism, AM)^[9-11]来提高预测精度，注意力机制是一种通过赋予特征不同的权重来优化资源分配、改善预测结果的机制。最后，LSTM神经网络的预测精度与超参数的配置有很大的关系，尤其是含有多超参数的模型，只有配置合适的超参数组合才可以充分发挥模型的预测性能。对于搜索范围较大的超参数，手动或暴力调参存在计算成本高、耗费时间长等问题^[12-13]，于是有学者使用群智能优化算法提高超参数寻优的效率，龙远等^[14]使用粒子群优化(particle swarm optimization, PSO)算法优化反向传播(back propagation, BP)神经网络，通过仿真证明PSO-BP模型在平流层风场短期快速预测问题上有效，但PSO算法存在调节参数多的问题，会带来新的调参问题；Yuan等^[15]使用蚁狮优化(ant lion optimizer, ALO)算法优化LSTM神经网络的隐层神经元数量及学习率，并通过预测月度径流证明LSTM-ALO模型具有预测精度高的优点，但该模型仅考虑超参数少的情形，对于超参数数量多、搜索空间复杂的问题，需要更进一步的研究。

结合上述分析，本文提出一种可用于地面空调能耗预测的融合改进蚁狮优化算法和注意力机制的双向长短时记忆(improved ant lion optimizer-attention mechanism-Bi-directional long short-term memory, IALO-AM-BiLSTM)神经网络模型。该模型分为预测部分和超参数优化部分，预测部分先利用BiLSTM神经网络充分挖掘数据的双向时间序列特征，然后通过注意力机制突出重要特征对预测结果的影响；超参数优化部分使用所提出的改进蚁狮优化(improved ant lion optimizer，IALO)算法寻找使预测结果最优的超参数组合。采用中国东部某机场夏季地面空调设备工作的能耗数据作为数据样本，将IALO-AM-BiLSTM模型与BP、LSTM、BiLSTM、AM-BiLSTM、PSO-AM-BiLSTM、ALO-AM-BiLSTM等多种模型进行对比，仿真结果表明，IALO-AM-BiLSTM模型在预测精度和拟合优度上都具有显著的优势。

1. 相关理论

1.1 双向长短时记忆神经网络

LSTM神经网络是由许多重复的基本单元组成的链式结构，基本单元具有长期状态c_t、短期状态h_t这2个状态，以及输入门、遗忘门和输出门3个门结构，通过3个门的计算可以删除或增加信息到基本单元状态，基本单元的结构如图1所示^[3]，具体运算过程如式(1)~式(6)所示^[3]。

图 1 LSTM基本单元结构

Figure 1. Structure of LSTM basic unit

下载: 全尺寸图片幻灯片

${{\boldsymbol{f}}_t} = \sigma \left( {{{\boldsymbol{W}}_{{\rm{f}}}} \cdot \left[ {{{\boldsymbol{h}}_{t{ - 1}}},{{\boldsymbol{x}}_t}} \right] + {{\boldsymbol{b}}_{{\rm{f}}}}} \right)$

(1)

${{\boldsymbol{i}}_t} = \sigma \left( {{{\boldsymbol{W}}_{{\rm{i}}}} \cdot \left[ {{{\boldsymbol{h}}_{t - 1}},{{\boldsymbol{x}}_t}} \right] + {{\boldsymbol{b}}_{{\rm{i}}}}} \right)$

(2)

${{\boldsymbol{\tilde c}}_t} = \tanh \left( {{{\boldsymbol{W}}_{{\rm{c}}}} \cdot \left[ {{{\boldsymbol{h}}_{t - 1}},{{\boldsymbol{x}}_t}} \right] + {{\boldsymbol{b}}_{{\rm{c}}}}} \right)$

(3)

${{\boldsymbol{c}}_t} = {{\boldsymbol{f}}_t} \cdot {{\boldsymbol{c}}_{t - 1}} + {{\boldsymbol{i}}_t} \cdot {{\boldsymbol{\tilde c}}_t}$

(4)

${{\boldsymbol{o}}_t} = \sigma \left( {{{\boldsymbol{W}}_{{\rm{o}}}} \cdot \left[ {{{\boldsymbol{h}}_{t{ - 1}}},{{\boldsymbol{x}}_t}} \right] + {{\boldsymbol{b}}_{{\rm{o}}}}} \right)$

(5)

${{\boldsymbol{h}}_t} = {{\boldsymbol{o}}_t} \cdot \tanh \left( {{{\boldsymbol{c}}_t}} \right)$

(6)

式中：[h_t−1, x_t]为上一时刻输出h_t−1和当前时刻输入x_t的拼接向量；W_f、W_i、W_c、W_o分别为遗忘门、输入门、基本单元状态、输出门的权重矩阵；b_f、b_i、b_c、b_o分别为遗忘门、输入门、基本单元状态、输出门的偏置项；σ( )为Sigmoid激活函数；tanh( )为tanh激活函数。

BiLSTM神经网络是由2个方向相反的LSTM神经网络组合而成，结构如图2所示^[16]，其中将前向LSTM神经网络记作LSTM1，后向LSTM神经网络记作LSTM2。

图 2 BiLSTM结构

Figure 2. Structure of BiLSTM

下载: 全尺寸图片幻灯片

这2个LSTM神经网络具有相同的网络结构和不同的权重矩阵、偏置项，每个时刻都会计算出前向LSTM1的输出 ${\boldsymbol{h}}_t^1$ 和来自后向LSTM2的输出 ${\boldsymbol{h}}_t^2$ ，将 ${\boldsymbol{h}}_t^1$ 和 ${\boldsymbol{h}}_t^2$ 结合起来便得到了BiLSTM的输出y_t，其数学表达式为^[16]

${\boldsymbol{h}}_t^1 = f\left( {{{\text{ω}}^1} \cdot \left[ {{\boldsymbol{h}}_t^1,{{\boldsymbol{x}}_t}} \right] + {{\boldsymbol{b}}^1}} \right)$

(7)

${\boldsymbol{h}}_t^2 = f\left( {{{\text{ω}}^2} \cdot \left[ {{\boldsymbol{h}}_{t - 1}^2,{{\boldsymbol{x}}_t}} \right] + {{\boldsymbol{b}}^2}} \right)$

(8)

${{\boldsymbol{y}}_t} = g\left( {{\boldsymbol{v}} \cdot \left[ {{\boldsymbol{h}}_t^1,{\boldsymbol{h}}_t^2} \right] + {\boldsymbol{c}}} \right)$

(9)

式中： ${{\text{ω}}^1}$ 和 ${{\boldsymbol{b}}^1}$ 分别为LSTM1的权重矩阵和偏置项； ${{\text{ω}}^2}$ 和 ${{\boldsymbol{b}}^2}$ 分别为LSTM2的权重矩阵和偏置项；v和c分别为计算输出的权重矩阵和偏置项。

1.2 注意力机制

注意力机制是一种可以让模型对更重要的信息给予更多的关注，并对其进行学习吸收的技术。在时间序列预测任务中，可以利用注意力机制对隐含层的每个状态赋予不同的权重，然后根据权重进行加权运算，达到优化预测结果的目的。注意力机制的结构如图3所示^[9]，图中S_t为隐含层t时刻的状态。

图 3 注意力机制结构^[9]

Figure 3. Structure of attention mechanism^[9]

下载: 全尺寸图片幻灯片

注意力机制的运算过程分为3个阶段^[9]，第1阶段通过打分函数计算每个时刻隐含层状态S_t的注意力得分，计算式为

${{\boldsymbol{e}}_t} = {\text{score}}\left( {{{\boldsymbol{S}}_t}} \right) = \tanh \left( {{{\boldsymbol{S}}_t} \cdot {\boldsymbol{\theta }} + {\boldsymbol{b}}} \right)$

(10)

式中：θ和b分别为打分函数的权重矩阵和偏置项。

第2阶段利用softmax层对第1阶段的e_t进行归一化操作，求出每个时刻的对应权重值，计算式为

${{\boldsymbol{a}}_t} = {\text{softmax}}\left( {{{\boldsymbol{e}}_t}} \right) = \frac{{\exp\left( {{{\boldsymbol{e}}_t}} \right)}}{{\displaystyle\sum\limits_{t = 0}^n {\exp\left( {{{\boldsymbol{e}}_t}} \right)} }}$

(11)

第3阶段将每个时刻的权重值a_t与隐含层对应的状态S_t进行加权求和，即为经过AM层后的输出Y，计算式为

${\boldsymbol{Y}} = \sum\limits_{t = 1}^n {\left( {{{\boldsymbol{a}}_t} \cdot {{\boldsymbol{S}}_t}} \right)}$

(12)

1.3 蚁狮优化算法

ALO算法的灵感源于自然界中蚁狮捕食蚂蚁，其使用了随机游走、轮盘赌策略和精英策略等多种机制，与遗传算法、PSO算法相比，具有调节参数少、收敛速度快及全局能力强等优点^[17-18]，运算步骤如下^[18]。

步骤 1　随机初始化蚂蚁和蚁狮的位置X_n,d，如式(13)所示。每个位置都代表问题的一个解，根据给定的适应度函数可以计算出相应的适应度值，选取适应度值最佳的为精英蚁狮，记作R_E。

${X_{n,d}} = {L_d} + s_{\text{rand}}\left( {{U_d} - {L_d}} \right)$

(13)

式中：n=1,2,···,N（N为蚂蚁和蚁狮的个数）；d=1,2,···,D（D为变量个数）；L_d为第d个变量的下限；s_rand为0~1之间的随机数； U_d为第d个变量的上限。

步骤 2　ALO算法使用随机游走模拟蚂蚁的游走过程，随机游走步数集X(t)的数学表达式为

$X\left( t \right) = \left\{ {0,c_{\text{um}}\left[ {2r\left( {{t_1}} \right) - 1} \right],}\cdots, {c_{\text{um}}\left[ {2r\left( {{t_{k}}} \right) - 1} \right]} \right\}$

(14)

$r\left( t \right) = \left\{ \begin{gathered} 1\quad\quad s_{\text{rand}} > 0.5 \\ 0\quad\quad s_{\text{rand}} \leqslant 0.5 \\ \end{gathered} \right.$

(15)

$X_i^t = \frac{{\left[ {X\left( t \right) - {a_i}} \right] \left( {d_i^t - c_i^t} \right)}}{{\left( {{d_i} - {a_i}} \right)}} + c_i^t$

(16)

式中：c_um()为计算累计和的函数；t_k表示第k次迭代，k为最大迭代次数；X_i^t表示第i维变量在第t次迭代时的归一化位置；a_i和d_i分别为第i维变量随机游走的最小值和最大值；c_i^t和d_i^t分别为第i维变量在第t代随机游走的最小值和最大值。

步骤 3　令c_i^t和d_i^t定义的超球体为蚂蚁随机游走的搜索空间，为了加快捕捉过程，随机游走空间会不断缩小。其表达式如式(17)~式(20)所示。

$c_i^t = A_i^t + \frac{{{c^t}}}{I}$

(17)

${d}_i^{\,t} = A_i^t + \frac{{{d^{\,t}}}}{I}$

(18)

$I = {10^\omega }\frac{t}{{T}}$

(19)

$\omega = \left\{ \begin{gathered} 2\quad\quad t > 0.1T \\ 3\quad\quad t > 0.5T \\ 4\quad\quad t > 0.75T \\ 5\quad\quad t > 0.9T \\ 6\quad\quad t > 0.95T \\ \end{gathered} \right.$

(20)

式中：c^t和 $d^{\,t}$ 分别为第t次迭代时所有变量的最小值和最大值；A_i^t为第t次迭代时第i个蚁狮的位置；I为随机游走空间的收缩系数；ω为收缩因子；t为当前迭代次数；T为最大迭代次数。

步骤 4　每次迭代中适应度值最优的蚁狮被保存为精英蚁狮，再通过轮盘赌抽出一只普通蚁狮，每只蚂蚁都围绕着普通蚁狮和精英蚁狮进行随机游走，蚂蚁位置的更新式为

$N_i^t = \frac{{R_{{\rm{A}}}^t + R_{{\rm{E}}}^t}}{2}$

(21)

式中： $N{{_{i}} ^t}$ 为第t次迭代时第i个蚂蚁的位置； $R{{_{\rm{A}}} ^t}$ 为蚂蚁在第t次迭代的普通蚁狮周围随机游走产生的值； $R{{_{\rm{E}}} ^t}$ 为蚂蚁在第t次迭代的精英蚁狮周围随机游走产生的值。

步骤 5　蚂蚁最终会被蚁狮捕食，若蚂蚁的适应度值比对应蚁狮的更优，就用蚂蚁的位置替换蚁狮的位置，表达式如式(22)所示。然后比较蚁狮和精英蚁狮的适应度值，将适应度值更优的保存为下一次迭代中的精英蚁狮。

$\left\{\begin{aligned} &{A}_{i}^{t}={N}_{i}^{t}\\ &f\left({N}_{i}^{t}\right) > f\left({A}_{i}^{t}\right) \end{aligned}\right.$

(22)

2. IALO-AM-BiLSTM模型

将影响飞机地面空调能耗的因素归为3类：①包括环境温度、环境湿度、光照强度等外环境条件；②包括舱内空间、舱内初始温度、舱内初始湿度等内环境初始条件；③包括工作完成后的温度、工作完成后的湿度等内环境目标条件。其中对地面空调能耗影响较大的外环境条件具有较强的时间规律，因此，可将时间序列预测的思想引入飞机地面空调能耗预测的研究中，通过加强利用数据的时间序列特征提高预测精度。

在此基础上，本文提出IALO-AM-BiLSTM模型，该模型包括预测部分和超参数优化部分，其中预测部分通过将BiLSTM神经网络和注意力机制结合起来，加强对数据中时间序列特征的利用；超参数优化部分是利用IALO算法自动寻找使预测效果最优的超参数组合，IALO算法是在标准ALO算法上，改进了1.3节中步骤3中的蚂蚁随机游走空间缩小机制和步骤4中的蚂蚁位置更新机制。

2.1 预测部分

预测部分以BiLSTM神经网络和注意力机制为主，同时引入Dropout避免因训练数据较少而产生过拟合的现象。所构造的预测部分包括输入层、BiLSTM层、Dropout层、Dense层、AM层、输出层6层网络，其结构如图4所示。

图 4 预测部分结构

Figure 4. Structure of prediction section

下载: 全尺寸图片幻灯片

各网络层的作用如下：

1）输入层。将每个时刻的环境特征数据(即初始温度、初始湿度、最终温度及最终湿度)作为模型的输入，t时刻的输入为

${{\boldsymbol{x}}_t} = \left[ {{P_t},{Q_t},{H_t},{M_t}} \right]$

(23)

式中：P_t为t时刻地面空调工作前客舱的初始温度；Q_t为t时刻地面空调工作完成后客舱的最终温度；H_t为t时刻地面空调工作前客舱的初始湿度；M_t为t时刻地面空调工作完成后客舱的最终湿度。

2） BiLSTM层。利用2个方向相反的LSTM神经网络对t时刻的输入序列x_t进行计算，将其输出y_t视为地面空调能耗数据的双向时间序列特征。

3） Dropout层。对地面空调能耗数据的双向时间序列特征按抛弃率进行随机抛弃，目的在于抑制过拟合，提高模型的鲁棒性^[19-20]。

4） Dense层。将Dropout层的输出在Dense层进行非线性变换，以增强时间序列特征与预测结果之间的联系。

5） AM层。将Dense层的输出隐藏状态视为AM层的输入，并根据式(10)~式(12)计算出t时刻AM层的输出S_t。

6）输出层。使用全连接层对AM层输出进行降维计算，其激活函数为sigmoid函数，最终输出结果Y即为预测时刻地面空调工作的耗电量。

2.2 超参数优化部分

选取合适的超参数对于充分发挥模型的预测性能至关重要，不合适的超参数优化方法会存在浪费时间、浪费资源或预测性能发挥不稳定、不充分等缺点。考虑到所提出的预测部分含有较多的超参数，提出一种用于多超参数优化的IALO算法，以解决标准ALO算法在处理复杂的多维搜索空间时，存在的寻优难度大、收敛速度慢等缺点。提出的2种改进机制具体如下。

2.2.1 随机游走空间缩小机制

由式(17)~式(20)可知，收缩因子ω为分段常值函数，使随机游走空间随着迭代次数增加而分段线性缩小。标准随机游走空间缩小机制存在3点不足：①搜索空间在分段点处较大幅度的阶梯变化会遗漏某些区域，可能错过最优解；②搜索空间的分段缩小过程缓慢且不均匀，导致收敛速度较慢；③在同一阶段的迭代过程中，所有蚂蚁的随机游走空间完全一致，不仅降低了算法的多样性，还浪费了算力。

为改善算法的寻优性能、收敛性能及多样性，提出一种具有一定随机性的连续非线性随机游走空间缩小机制。改进后的数学表达式如式(24)~式(25)所示。

$\omega = 2 + 4 {\left( {\frac{t}{{T}}} \right)^{{\rm{e}}}}$

(24)

$I = {10^\omega }\frac{t}{{T}}\left[ {0.8 + \sin \left( {\frac{{{{\text{π}} }t}}{{4{T}}} s_{\text{rand}}} \right)} \right]$

(25)

该机制主要改进了收缩因子ω，收缩因子调节过程如图5所示。

图 5 收缩因子调节过程

Figure 5. Adjustment process of contraction factor

下载: 全尺寸图片幻灯片

由图5可以看出，改进收缩因子ω仍可以满足收缩尺度变化需求；改进收缩因子ω具有了连续性，可以避免在寻优过程遗漏某些区域。

此外，在收缩系数I内添加了随机部分，不仅有效增强了算法的多样性，还可以在迭代后期加快收敛。

2.2.2 蚂蚁位置更新机制

在标准ALO算法中，蚂蚁通过围绕着精英蚁狮和通过轮盘赌抽取的普通蚁狮进行随机游走来更新自己的位置，其中普通蚁狮主要影响算法的全局搜索能力，精英蚁狮主要影响算法的局部寻优能力，二者在蚂蚁位置更新时的权重均恒为0.5。但在实际迭代过程中，不同时期对全局搜索能力和局部寻优能力的需求存在差异，迭代的前中期需要更强的全局搜索能力，以增加种群的多样性，避免陷入局部最优解；而迭代的后期需要更强的局部寻优能力，以提高在全局最优点附近的收敛速度，找到更优的解。

为满足不同时期算法对全局搜索能力和局部寻优能力的差异性需求，提出一种可以根据迭代次数非线性动态调整普通蚁狮权重系数β的方法，如式(26)~式(27)所示。

$\,\beta = {{\beta }_{{\max}}} + \left( {{{\beta }_{\max }} - {{\beta }_{\min }}} \right)\sin \left[ {\frac{{\text{π}}}{2} {{\left( {\frac{t}{{T}}} \right)}^2} + {{\text{π}}}} \right]$

(26)

$A_i^t = \beta R_{{\rm{A}}}^t + \left( {1 - \beta } \right)R_{{\rm{E}}}^t$

(27)

式中：β_max=0.8；β_min=0.2。

普通蚁狮权重系数β随迭代次数变化曲线如图6所示，可以看出采用该调节方法后，IALO算法在迭代的前期拥有更强的全局寻优能力，以较为缓慢的速度降低全局寻优能力，到了迭代中期仍以全局寻优为主，从而在全局范围搜寻到更优的解区域，避免陷入局部最优陷阱。然后以更快的速度增强局部寻优能力，使迭代后期以局部寻优为主，保证算法可以充分寻找全局最优区域的局部最优解。

图 6 普通蚁狮权重系数调节过程

Figure 6. Adjustment process of ordinary ant lion weight coefficient

下载: 全尺寸图片幻灯片

2.3 构造模型

将所提出的预测部分和超参数优化部分进行融合，构造出IALO-AM-BiLSTM模型，其构造过程如下：①使用超参数优化部分提供的初始超参数配置预测部分；②预测部分进行迭代运算; ③超参数优化部分根据预测部分迭代运算的输出结果对超参数进行优化; ④判断是否满足终止条件，若不满足则使用更新后的超参数配置预测部分，返回过程2，若满足则输出结果，并得到超参数最优的预测模型。

IALO-AM-BiLSTM模型的结构如图7所示。

图 7 IALO-AM-BiLSTM模型结构

Figure 7. Structure of IALO-AM-BiLSTM

下载: 全尺寸图片幻灯片

2.4 模型的训练流程

本文提出的IALO-AM-BiLSTM模型的训练流程如图8所示，具体训练步骤如下。

图 8 IALO-AM-BiLSTM模型的训练流程

Figure 8. Flow chart of training flow of IALO-AM-BiLSTM

下载: 全尺寸图片幻灯片

步骤 1　将数据集按7:3的比例划分为训练集和测试集，使用最值归一化法分别对其进行处理，计算式为

${{\boldsymbol{x}}_{{\rm{e}}}} = \frac{{{{\boldsymbol{x}}_{{\rm{a}}}} - {{\boldsymbol{x}}_{\min }}}}{{{{\boldsymbol{x}}_{\max }} - {{\boldsymbol{x}}_{\min }}}}$

(28)

式中：x_e为归一化之后的输入数据；x_a为原始的输入数据；x_max和x_min为原始数据中各变量的最大值和最小值。

步骤 2　将模型预测部分的批尺寸、BiLSTM层的单元个数、Dropout层的抛弃率、Dense层的单元个数、迭代次数、学习率等超参数设为寻优对象并确定各自的搜索空间。

步骤 3　设置IALO算法的迭代次数T、种群大小N、变量个数D。

步骤 4　对蚂蚁和蚁狮的位置进行随机初始化，用训练集训练模型的预测部分，选取预测误差的均方误差(MSE)为适应度函数，并计算每个位置对应的适应度值。MSE的计算式为

$E_{\text{MSE}} = \frac{1}{m}\sum\limits_{i = 1}^m {{{\left( {{y_i} - f\left( {{x_i}} \right)} \right)}^2}}$

(29)

式中：y_i为真实值；f(x_i)为预测值；m为样本数量。

步骤 5　根据适应度值确定精英蚁狮，并通过轮盘赌抽取普通蚁狮。

步骤 6　根据式(17)和式(18)及式(24)和式(25)更新随机游走空间，蚂蚁分别围绕精英蚁狮和普通蚁狮进行随机游走。

步骤 7　根据式(26)和式(27)确定蚂蚁的最终位置，计算其适应度值，再与精英蚁狮的适应度值对比，根据式(22)更新精英蚁狮的位置。

步骤 8　判断是否满足终止条件，若满足则输出最优位置，否则返回步骤4。终止条件为达到最大迭代次数。

步骤 9　使用IALO算法得到的最优超参数组合配置模型的预测部分，并用训练集对其进行训练。

步骤 10　将测试集的特征数据输入训练好的模型中，输出预测结果。

步骤 11　对预测结果进行反归一化，与测试集的目标数据对比，并结合评价指标对其进行分析。

3. 算例验证

3.1 数据来源

采集中国东部某机场在夏季使用地面空调为飞机客舱降温除湿的相关数据作为数据集，其中地面空调的制冷量均为150 kW，飞机型号均为波音737-800。该数据集共300组，包括工作前的初始温度和初始湿度，工作完成后的最终温度和最终湿度及全过程的耗电量，其中初始温度、初始湿度、最终温度及最终湿度作为特征数据，耗电量作为目标数据。部分样本数据如表1所示。

表 1 部分样本数据

Table 1. Partial sample data

初始温度/℃	初始湿度/%	最终温度/℃	最终湿度/%	耗电量/kW
32.5	57.5	24.7	37.9	181.33
31.3	63.9	23.8	36.2	165.24
32.6	49.9	25.0	24.7	178.26
35.2	68.2	25.2	36.0	186.14
33.2	72.8	24.5	37.0	169.94
31.2	62.8	27.6	35.1	147.79

下载: 导出CSV

| 显示表格

3.2 评价指标

选取MSE、平均绝对百分比误差(MAPE)和决定系数(R²)作为评价指标，其中MSE、MAPE的值越小，说明预测结果越接近真实值，预测精度越高；R²的值越接近1，说明拟合优度越大，自变量对因变量的解释程度越高，所建立的模型越好。MSE的计算如式(29)所示，其余评价指标的计算如式(30)和式(31)所示。

$E_ {\text{MAPE}} = \frac{{100\% }}{m}\sum\limits_{i = 1}^m {\left| {\frac{{{y_i} - f\left( {{x_i}} \right)}}{{f\left( {{x_i}} \right)}}} \right|}$

(30)

${R^2} = 1 - \frac{{\displaystyle\sum\limits_{i = 1}^m {{{\left( {{y_i} - f\left( {{x_i}} \right)} \right)}^2}} }}{{\displaystyle\sum\limits_{i = 1}^m {{{\left( {{y_i} - {{\bar y}_i}} \right)}^2}} }}$

(31)

式中： ${\bar y_i}$ 为真实值的平均数。

3.3 超参数优化结果与分析

本文所提IALO-AM-BiLSTM模型中的超参数包括批尺寸、BiLSTM层的单元个数、Dense层的单元个数、迭代次数、Dropout层的抛弃率、学习率等，其组合形式对模型的预测结果具有很大的影响。在综合考虑实例具体情况和搜索效率的基础上设置超参数的搜索空间，如表2所示。

表 2 超参数搜索空间

Table 2. Search space of hyperparameters

超参数	搜索空间
批尺寸	1~20
学习率	0.0001~0.01
迭代次数	300~500
BiLSTM层的单元个数	10~200
Dense层的单元个数	10~200
Dropout层的抛弃率	0.1~0.9

下载: 导出CSV

| 显示表格

选取PSO-AM-BiLSTM、ALO-AM-BiLSTM作为对比模型，使用训练集对各模型的超参数优化部分进行训练，其迭代次数均设置为100，种群规模均为50。各算法的迭代过程如图9所示。

图 9 各算法迭代过程

Figure 9. Iterative process of each algorithms

下载: 全尺寸图片幻灯片

从图9可以看出，IALO算法的寻优结果显著优于PSO算法和ALO算法；ALO算法虽然在迭代前期具有良好的寻优能力，但在迭代过程的中后期无法跳出局部最优陷阱；IALO算法不仅在迭代前期具有优异的寻优效果，在迭代后期也能进一步优化寻优结果，证明IALO算法在整个迭代过程中都具有很好的全局寻优能力和局部寻优能力。

各超参数优化算法最终寻找到的最优超参数组合如表3所示。

表 3 各算法的最优超参数组合

Table 3. Optimal hyperparameter combination of different algorithms

算法	批尺寸	BiLSTM层的单元个数	Dense层的单元个数	迭代次数	Dropout层的抛弃率	学习率
PSO	1	200	96	499	0.1	0.01
ALO	8	65	67	487	0.2	0.0077
IALO	2	36	121	324	0.2	0.0064

下载: 导出CSV

| 显示表格

3.4 预测结果与分析

利用各超参数优化算法得到最优超参数组合配置各自的预测模型，在测试集上进行预测，将预测结果与根据经验手动调参的BP模型、LSTM模型、BiLSTM模型、AM-BiLSTM模型的预测结果对比，各模型预测值和真实值的对比如图10所示。

图 10 不同模型预测结果与真实值对比

Figure 10. Comparison of predicted and real values based on different models

下载: 全尺寸图片幻灯片

为了科学评价各模型的性能，使用MSE、MAPE和R²等评价指标对各模型的预测结果进一步分析，分析结果如表4所示。

表 4 不同模型预测结果对比(测试集)

Table 4. Comparison of prediction results based on different models (test set)

模型	MSE	MAPE/%	R²
BP	37.159	2.842	0.728
LSTM	17.257	1.870	0.874
BiLSTM	14.326	1.504	0.895
AM-BiLSTM	11.145	1.083	0.918
PSO-AM-BiLSTM	9.196	1.068	0.927
ALO-AM-BiLSTM	9.411	1.041	0.931
IALO-AM-BiLSTM	6.045	0.928	0.956

下载: 导出CSV

| 显示表格

通过分析表4的各项指标可以得出：①IALO-AM-BiLSTM模型的预测结果在MSE、MAPE、R²等多项指标上都优于其他模型；②提取更多时间序列特征有助于提高模型的预测精度及拟合优度；③在模型中引入注意力机制能够提高时序特征的利用率及模型的预测精度；④IALO算法在超参数寻优上优于PSO算法和ALO算法，可以更充分地发挥AM-BiLSTM模型的预测性能。

4. 结　论

1）在分析地面空调能耗影响因素的基础上，通过提高时间序列特征的利用效率来提高预测精度，本文模型可通过BiLSTM神经网络充分挖掘出数据的时间序列特征，结合注意力机制赋予各特征不同的权重。经仿真验证，增强对时间序列特征的利用可以显著地提高地面空调能耗预测的精度。

2）本文提出2种优化机制来改进ALO算法，一种是基于非线性动态调整蚁狮权重系数的蚂蚁位置更新机制，另一种是具有一定随机性的连续非线性随机游走空间缩小机制。这2种优化机制可提高算法的收敛速度、寻优性能及多样性，增强IALO算法处理具有复杂搜索空间的超参数优化问题的能力，进一步提升了模型的预测精度和拟合优度。

References(1)

References

[1] Hoerl A E.Application of ridge analysis to regression problems[J].Chemical Engineering Progress, 1962,58:54-59 [2] Neter J, Wasserman W, Kutner M H. Applied linear regression models[M].New York:Richard D Irwin Inc,1983 [3] Wold S, Martens H, Wold H. The multivariate calibration problem in chemistry solved by the PLS method Ruhe A, Kgstrm B.Proc Conf Matrix Pencils, Lectures Notes in Mathematics. Heidelberg:Springer-Verlag, 1983 [4] Tenenhaus M. La régression PLS théorie et pratique[M]. Paris:Editions Technip,1998 [5] Jain S K, Gunawardena A D. Linear algebra:an interactive approach[M].Beijing:China Machine Press,2003 [6] Lazraq A, Cleroux R, Gauchi J P. Selecting both latent and explanatory variables in PLS1 regression model [J]. Chemometrics and Intelligent Laboratory Systems,2003,66:117-126 [7] 刘强,尹力.一种简化递推偏最小二乘建模算法及其应用[J].北京航空航天大学学报,2003,29(7):640-643 Liu Qiang, Yin Li. Study on an improved recursive partial least-squares modeling approach and application[J]. Journal of Beijing University of Aeronautics and Astronautics,2003,29(7):640-643(in Chinese)

Relative Articles

[1]	WU Shanqiang, CHEN Qi, SUN Yajun, NI Zao, CHEN Wen. Transonic Aeroservoelastic Analysis of Civil Aircraft Based on Over Field-Panel Method[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2024.0729
[2]	JIN F Y，WANG Y F，WANG H，et al. Simulation analysis and experimental study of viscoelastic damping ring of flywheel housing[J]. Journal of Beijing University of Aeronautics and Astronautics，2025，51（1）：272-280 （in Chinese）. doi: 10.13700/j.bh.1001-5965.2022.0963.
[3]	CHEN Q，AN C，XIE C C，et al. Large deformation prediction and geometric nonlinear aeroelastic analysis based on machine learning algorithm[J]. Journal of Beijing University of Aeronautics and Astronautics，2025，51（3）：943-952 （in Chinese）. doi: 10.13700/j.bh.1001-5965.2023.0111.
[4]	XING Xue, WANG Shunan, DING Jianjun, MA Bingjie, WANG Shuai, DU Jingtao. Thermoacoustic coupling characteristics prediction and experimental study of Rijke tube with impedance boundaries[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2024.0644
[5]	GUO Shouyi, WANG Liangming, YANG Baolu, ZHOU Jie. Roll control of homogeneous quasi-continuous algorithm for the high-spinning guided projectile with mismatched state terms[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2024.0673
[6]	YUAN Kaihua, ZHANG Zhuoge, ZHA Jun, CHENG Meng, JI Hongli, LIU Kai, TIAN Haitao. WIND TUNNEL TEST FOR AEROELASTIC DYNAMIC RESPONSE SUPRESSION OF SUPERSONIC PANEL[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2024.0602
[7]	XU H，HAN J L，XI Y，et al. Aeroelastic morphing flight simulation platform for a folding wing aircraft[J]. Journal of Beijing University of Aeronautics and Astronautics，2024，50（6）：1921-1930 （in Chinese）. doi: 10.13700/j.bh.1001-5965.2022.0536.
[8]	LI Keyu, YANG Chao, WANG Xiaozhe, WAN Zhiqiang, LI Chang. Aeroelastic optimization of wing structure and material using multiple microstructures[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2024.0178
[9]	WANG Haipeng, LIU Haina, WANG Zhendong, MOU Cunxiao, ZHANG He, YE Wen. Pod integrated navigation system elastic lever arm error compensation method[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2024.0155
[10]	CUI Y P，LI Z H，ZHENG G L. Computing convex hull of a generic polygon with simulation of progressive support for an elastic line[J]. Journal of Beijing University of Aeronautics and Astronautics，2024，50（1）：216-223 （in Chinese）. doi: 10.13700/j.bh.1001-5965.2022.0246.
[11]	LI Hao, ZHANG Xiao-rong, SUN Yan, DENG Yan-zeng, ZHU Zhi-mao. Automatic selection algorithm of interpolation points on aeroelastic coupling interface[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2024.0079
[12]	SHI Y，WAN Z Q，WU Z G，et al. Aerodynamic order reduction method for elastic aircraft flight dynamics simulation[J]. Journal of Beijing University of Aeronautics and Astronautics，2023，49（7）：1689-1706 （in Chinese）. doi: 10.13700/j.bh.1001-5965.2021.0510.
[13]	SHI F Y，ZHENG X J，JIANG L H，et al. Point cloud registration algorithm for non-cooperative targets based on Hough transform[J]. Journal of Beijing University of Aeronautics and Astronautics，2023，49（8）：2071-2078 （in Chinese）. doi: 10.13700/j.bh.1001-5965.2021.0575.
[14]	LU H B，CAI Y J，LI S. Optimization method of thermo-elastic lattice structure based on surrogate models of microstructures[J]. Journal of Beijing University of Aeronautics and Astronautics，2023，49（12）：3432-3444 （in Chinese）. doi: 10.13700/j.bh.1001-5965.2022.0155.
[15]	LI X Y，WAN Z Q，WANG X Z，et al. Aeroelastic optimization for overall design of joined wing[J]. Journal of Beijing University of Aeronautics and Astronautics，2023，49（12）：3343-3354 （in Chinese）. doi: 10.13700/j.bh.1001-5965.2022.0074.
[16]	LEI Chao-hui, YANG Chao, SONG Chen. Optimization design of active aeroelastic wing with variable camber[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2023.0623
[17]	ZHOU Quan-zhi, YANG You-xu, SUN Lu-bin, ZHANG Xing-cui, WU Yi-fei, HUO Meng-wen. Aeroelastic Optimization Design of SpaRibs Wing Structure[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2023.0343
[18]	ZHAO Zhen-wu, XING Xiao-xiao, GENG Shuo. Research on Resilience Measurement and Optimization Strategy of Air Cargo Secure Supply Chain[J]. Journal of Beijing University of Aeronautics and Astronautics. doi: 10.13700/j.bh.1001-5965.2023.0499
[19]	DONG Zeshu, YUAN Feiniu, XIA Xue. Improved spatial and channel information based global smoke attention network[J]. Journal of Beijing University of Aeronautics and Astronautics, 2022, 48(8): 1471-1479. doi: 10.13700/j.bh.1001-5965.2021.0549
[20]	JIANG Yu, YANG Chao, WU Zhigang. Mechanism analysis of a new aeroservoelastic instability mode[J]. Journal of Beijing University of Aeronautics and Astronautics, 2022, 48(7): 1314-1323. doi: 10.13700/j.bh.1001-5965.2021.0571

Supplements(0)

Cited By

Cited by

Periodical cited type(4)

1.	李鹏，肖辉，李秀花，赵恒，邵頲. 基于遗传算法优化Seq2Seq模型的建筑空调电能预测研究. 电气应用. 2025(02): 30-35 .
2.	朱杰克，刘潇晗，汤毅. 基于数值模拟的宁波某超高层建筑空调负荷研究. 建筑施工. 2025(03): 485-489 .
3.	刘涵，林家泉. 基于IPSO-AM-LSTM的飞机地面空调能耗预测. 北京航空航天大学学报. 2024(11): 3595-3602 . 本站查看
4.	蔡霞，王可，郑军红，何利力. 面向制造企业动力能源的智能供应与管控研究. 工程设计学报. 2024(06): 697-706 .

Other cited types(6)

Proportional views

Proportional views

通讯作者: 陈斌, bchen63@163.com

1.
沈阳化工大学材料科学与工程学院沈阳 110142

Get Citation

PDF

XML

Article Metrics

Article views(2822) PDF downloads(798)

Gram-Schmidt regression and application in cutting tool abrasion prediction

Abstract

1. 相关理论

1.1 双向长短时记忆神经网络

1.2 注意力机制

1.3 蚁狮优化算法

2. IALO-AM-BiLSTM模型

2.1 预测部分

2.2 超参数优化部分

2.2.1 随机游走空间缩小机制

2.2.2 蚂蚁位置更新机制

2.3 构造模型

2.4 模型的训练流程

3. 算例验证

3.1 数据来源

3.2 评价指标

3.3 超参数优化结果与分析

3.4 预测结果与分析

4. 结　论

References

Relative Articles

Cited by

Periodical cited type(4)

Other cited types(6)

Proportional views

Catalog

通讯作者: 陈斌, bchen63@163.com

Article Metrics

Proportional views

Related

Gram-Schmidt regression and application in cutting tool abrasion prediction

Abstract

1. 相关理论

1.1 双向长短时记忆神经网络

1.2 注意力机制

1.3 蚁狮优化算法

2. IALO-AM-BiLSTM模型

2.1 预测部分

2.2 超参数优化部分

2.2.1 随机游走空间缩小机制

2.2.2 蚂蚁位置更新机制

2.3 构造模型

2.4 模型的训练流程

3. 算例验证

3.1 数据来源

3.2 评价指标

3.3 超参数优化结果与分析

3.4 预测结果与分析

4. 结 论

References

Relative Articles

Cited by

Periodical cited type(4)

Other cited types(6)

Proportional views

Catalog

通讯作者: 陈斌, bchen63@163.com

Article Metrics

Proportional views

Related

Export File

Citation

Format

Content

4. 结　论