-
摘要:
如何高效提取视频内容即视频摘要化，一直是计算机视觉领域研究的热点。简单通过图像颜色、纹理等特征进行检测已无法有效、完整地获取视频摘要。基于视觉注意力金字塔模型，提出了一种改进的可变比例及双对比度计算的中心-环绕视频摘要化方法。首先，以超像素方法对视频图像序列进行像素块划分以加速图像计算；然后，检测不同颜色背景下的图像对比度特征差异并进行融合；最后，结合光流运动信息，合并静态图像与动态图像显著性结果提取视频关键帧，在提取关键帧时，利用感知哈希函数进行相似性判断完成视频摘要化生成。在Segtrack V2、ViSal及OVP数据集上进行仿真实验，结果表明：所提方法可以有效提取图像感兴趣区域，得到以关键帧图像序列表示的视频摘要。
Abstract:How to extract video content efficiently, that is, video summarization, is a research hotspot in the field of computer vision. Video summary cannot be obtained effectively and completely by simply detecting the image color, texture and other features. Based on the visual attention pyramid model, this paper proposes an improved center-surround video summarization method with variable ratio and double contrast calculation. First, the video image sequence is divided into pixel blocks by superpixel method to speed up image calculation. Then, the contrast feature difference under different color backgrounds is detected and fused. Finally, combined with the optical flow motion information, the static and dynamic saliency results are merged to extract the key frames of the video. When extracting the key frames, the perceived Hash function is used to perform similarity judgment to complete the video summary generation. Simulation experiments are carried out on Segtrack V2, ViSal and OVP datasets. The experimental results show that the proposed method can be used to effectively extract the area of interest, and finally obtain the video summary expressed by the sequence of key frame images.
-
与飞机着陆相比，舰载机在着舰过程中，需要保持与甲板运动在高度上的同步[1]。但航空母舰由于受到海风和浪涌等多种因素的影响，将会出现偏航、横摇、纵摇、沉浮等多种形式的甲板运动，运动的不确定性及环境干扰，极大地增加了着舰难度，这往往会导致舰载机无法与阻拦索啮合，发生逃逸、撞击等事故[2-3]。由于甲板运动严重影响了舰载机着舰过程的安全性和成功率。因此，需要通过甲板运动预报来预估得到未来一段时间的甲板运动信号，并将其引入着舰导引系统中，以抵消舰载机响应滞后带来的甲板和舰载机纵向高度、横纵角度不同步的问题。既有的预估方法包括卡尔曼滤波、粒子滤波、神经网络及自回归AR模型等，但由于导引系统与实际甲板运动不可避免地会存在一定的相位滞后，就需要与甲板运动补偿相结合[4-5]，保持着舰前飞机与甲板运动同步，以保证舰载机可以在理想着舰点附近安全着舰。目前研究的甲板预报与补偿技术已经有了长足的发展，预报可以达到12 s内相对精确的预估，但在实时速率和精度上还有很大提升空间。
本文首先对甲板运动进行基于正弦波的建模；其次，基于反向传播(back-propagation, BP)人工神经网络对甲板运动进行预报，提出甲板运动预报模型使用优化算法和在线训练来减少模型参数训练更新所需时间，提高模型精度，并采用超前网络进行补偿，确保舰载机与甲板运动同相位；最后，建立飞机纵向运动模型，对本文预报模型和补偿模型进行了仿真验证。
1. 甲板运动模型建立
甲板运动模型主要分为基于正弦波组合的甲板运动模型和基于功率谱的甲板运动模型[6-7]，本文采用基于正弦波组合的甲板运动模型。以舰船质心为坐标，建立六自由度的甲板运动坐标系，如图1所示，其中，xV为甲板运动方向。绕x轴、y轴和z轴的3种运动分别为横摇、首摇和纵摇，沿着x轴、y轴和z轴的运动为纵荡、升沉和横荡。其中，横摇、纵摇和升沉能够返回初始位置，因此，将其看作窄频带的平稳随机过程。
实验过程中将运动简化为
{γ=N∑i=0γmisin(2πTyit+γ0i)θ=N∑i=0θmisin(2πTyit+θ0i)h=N∑i=0hmisin(2πTyit+h0i) (1) 式中：γ和θ分别为甲板的横摇和纵摇角度；h为升沉位移；γm指横摇运动的幅值；t为甲板运动周期。
考虑到实际着舰过程中，舰载机需要的是着舰点处的甲板运动参数，构建船舰质心到着舰点的运动模型：
hz=h+lsinθ+w (2) 式中：hz为着舰点的升沉位移；l为船舰质心与着舰点之间的距离；w为白噪声。
根据式（2）可以得到甲板着舰点的横摇、纵摇及升沉运动模型，将其作为实验数据，在运动模型数据上叠加确定方差的白噪声w。航母在5级海况，以15.4 m/s(30 kn)的航速状态行驶时，海浪及风作用于舰体引起的甲板运动响应曲线如图2所示。
2. 基于BP神经网络的甲板运动预报
针对甲板运动预报采取经典的精确数学模型，通常会面临计算复杂、不确定、非线性等问题，而人工神经网络作为一种机器学习模拟生物神经反馈过程的计算模型，能够达到并行、分布式处理数据信号，通过调节模型内部计算单元之间的相互连接关系的智能学习训练。采取神经网络方法进行甲板运动预报，能够极大地降低计算的复杂度。
人工神经网络领域中，BP神经网络因其具有很强的非线性映射能力和柔性的网络结构而被广泛应用，但其也存在学习速率慢的问题，即使是简单问题也需要几百次甚至上千次的学习才能收敛。本文基于BP神经网络提出的优化反向传输算法和在线训练，能够在继承BP神经网络优势的同时进一步提高精度及速率。
2.1 基于经典BP的甲板运动预报
1986年，Rumelhart等提出了BP神经网络的概念，因其具有很强的非线性映射能力，所以一经提出就引发了广泛关注[8]。
BP神经网络结构图如图3所示，其基本处理单元是神经元，x1,x2,⋯,xm为输入信号，c1,c2,⋯,cn为中间层处理结果，y1,y2,⋯,yl为测试结果，e为无量纲化相对误差，vij和ωjk分别为各神经元间对应权值[9-10]。
数据信号在各层间传输处理过程中如果直接求解，那么无论网络结构多么复杂，输出和输入信号都是线性组合关系。因此，在网络模型各层级的计算单元间加入非线性的激活函数，能够使神经网络面向非线性问题，从而提升网络对模型的表征能力。信号在各层间的计算如下：
cj=f(m∑i=0vijxi)j=1,2,⋯,n (3) yk=g(n∑j=0ωjkcj)k=1,2,⋯,l (4) 式中：函数f(x)和g(x)为各层间的激活函数。在实验中本文采取双曲正切S型激活函数：
tansig(n)=21+e−2n−1 (5) 当神经网络预估得到的输出值不满足误差精度要求时，模型就会进入反向传播。要使平方和误差减小，反向传输过程各层权值的调整量需要与误差的梯度下降成正比：
Δω=−η∂E∂ω=−η∂E∂y⋅∂y∂ω=ηδkcj (6) 式中：η为更新过程中的更新步长；E为平方和误差函数；δ为误差函数对输出层的各神经元的偏导数。
BP神经网络在使用训练样本进行训练时，主要通过调整权值来训练更新模型，调整后的权值再次通过数据信号进行预估、误差比对，循环往复直到满足精度需求。
使用经典BP神经网络对第1节利用着舰点处的甲板运动模型产生的升沉运动状态进行甲板运动预报，使用前40 s甲板运动数据作为训练样本，设输入层神经元为80，中间层神经元为10，输出层神经元数目设为50，提前5 s对5级海况下的甲板运动的预报情况及相对误差如图4所示。
实验结果均方误差（mean-square error, MSE）为0.131 83 h/m。从预测结果可以看出，基于经典BP神经网络的预报运动曲线与实际曲线趋势基本吻合，能够比较准确地对甲板运动进行预报，但预报误差较大，且采用离线模型训练无法在实际应用中实时跟进，在模型精度和实时性能上仍有提升空间。
2.2 反向传输算法
BP神经网络的反向传输过程要求各层权值的调整更满足精度需求，因此，调整量需要与误差的梯度下降成正比，即梯度下降法，但这个方法在迭代中寻找局部最优的方向时，会选择与之前十分相近的方向，即网络在该方向上的参数更新还未满足误差需求，这就导致在更新过程中的轨迹呈现锯齿状。
为减小更新时调整方向所需时间，选择优化方向，以确保步长能够使该方向的参数更新满足优化需求。
对于反向传输时模型的优化问题：
minxf(x)=12xTAx−bTx (7) 式中：x为模型参数矩阵；A为正定矩阵；b为已知常量矩阵。为确保优化方向pk间不相互干扰必须满足共轭正交pTiApj=0（i≠j）。若令
pk=−gk+βk−1pk−1+k−1∑i=0β(i)kpik⩾ (8) 式中：{{\boldsymbol{g}}_k} = \dfrac{{\partial f({{\boldsymbol{x}}_k})}}{{\partial {{\boldsymbol{x}}_k}}} = {\boldsymbol{A}}{{\boldsymbol{x}}_k} + {\boldsymbol{b}}为梯度。那么系数\beta_k 必须满足优化方向共轭条件，计算可得
\beta _k^{(i)} = \frac{{{\boldsymbol{g}}_k^{\rm T}{\boldsymbol{A}}{{\boldsymbol{p}}_i}}}{{{\boldsymbol{p}}_i^{\rm T}{\boldsymbol{A}}{{\boldsymbol{p}}_i}}} = \frac{{{\boldsymbol{g}}_k^{\rm T}({{\boldsymbol{g}}_{i + 1}} - {{\boldsymbol{g}}_i})}}{{{\boldsymbol{p}}_i^{\rm T}({{\boldsymbol{g}}_{i + 1}} - {{\boldsymbol{g}}_i})}} = 0 (9) 因此，第 k 步的优化方向为
{{\boldsymbol{p}}_k} = - {{\boldsymbol{g}}_k} + {\beta _{k - 1}}{{\boldsymbol{p}}_{k - 1}} (10) 确定优化方向后，需要求得优化目标进行计算更新以调整参数，但由于一般真实模型比较复杂，因此，需要在求解过程中采用在当前优化点的邻域对函数进行泰勒展开，逼近{{\boldsymbol{x}}_k}附近点 {{\boldsymbol{x}}_k} + {{\boldsymbol{\varDelta }}_k} 的估计值：
f({{\boldsymbol{x}}_k} + {{\boldsymbol{\varDelta }}_k}) = f({{\boldsymbol{x}}_k}) + J_{\boldsymbol{x}}^k{{\boldsymbol{\varDelta }}_k} (11) 式中：{\boldsymbol{J}}_{\boldsymbol{x}}^k为{{\boldsymbol{x}}_k}处的雅可比矩阵。若设{{\boldsymbol{\varDelta }}_k}为{{\boldsymbol{x}}_k}处的模型参数增量，{{\boldsymbol{x}}_{k + 1}} = {{\boldsymbol{x}}_k} + {{\boldsymbol{\varDelta }}_k}，则模型：
\left\| {{\boldsymbol{y}} - f({{\boldsymbol{x}}_{k + 1}})} \right\| = \mathop {\min }\limits_{{{\boldsymbol{\varDelta }}_k}} \left\| {{{\boldsymbol{e}}_k} - {\boldsymbol{J}}_{\boldsymbol{x}}^k{{\boldsymbol{\varDelta }}_k}} \right\| (12) 式中：{{\boldsymbol{e}}_k} = {\boldsymbol{y}} - f({{\boldsymbol{x}}_k})。设\left\| {{{\boldsymbol{e}}_k} - {\boldsymbol{J}}_{\boldsymbol{x}}^k{{\boldsymbol{\varDelta }}_k}} \right\| = 0，则可以得到优化点的迭代：
{{\boldsymbol{x}}_{k + 1}} = {{\boldsymbol{x}}_k} + {\boldsymbol{J}}{_{\boldsymbol{x}}^k{^{ - 1}}}({\boldsymbol{y}} - f({{\boldsymbol{x}}_k})) (13) 使用BP神经网络模型在预估甲板运动时，在反向传输过程中通过优化算法大大减少了调整方向时搜索网络的时间，这确保精确度的同时也能够保证速率。
2.3 甲板运动预报仿真验证
经典的BP神经网络模型采取离线训练的方式进行预估，通过历史样本数据进行模型初始化训练后，直接输入实验样本进行模型计算得到结果，但实际舰载机着舰过程需要对舰船的运动状态进行实时采样以更新甲板预报模型的输入样本，因此，将预报器的训练方式更改为在线训练。
在线训练模型的甲板运动预报流程如图5所示，即在初始化训练后，测试数据将以预设时间为周期进行采样，在模型计算预估结果的同时，将新采样数据与历史数据相结合作为训练样本对模型进行训练及参数更新，以保障预报模型的实时性能。
以六自由度甲板运动模型作为测量数据源，验证基于BP神经网络优化模型的甲板运动预报技术的可行性。在第1节中确定的多正弦波组合运动模型中加入方差为0.01的随机白噪声作为甲板横摇、纵摇和升沉运动的样本数据，并设系统采样时间为0.1 s。
实验采用在线训练的方式进行模型更新，传输周期设为1.0 s，将实验所用甲板运动数据集分为训练数据及实验预估数据，先对输入数据进行归一化处理，确定神经网路各层级参数，再设输入层神经元数为80，即输入数据样本的维数为80，根据预测时间5 s，输出层神经元数目设为50，中间层经验计算式：
l = \sqrt {n + m + a} (14) 式中：n为输入层神经元数目；m为输出层神经元个数；a为1～10的任意数，由此确定中间层层数l为12。设模型训练迭代次数为1 000，学习速率为0.05，期望目标最小误差为0.000 01。
本文预估模型对甲板升沉运动的期望值与预测值对比及预估相对误差如图6所示。
由图6可知，预估曲线与实际样本曲线十分吻合，基于本文预估模型的甲板运动预报模型能够通过历史数据很好地预测甲板运动未来有效时间内的运动变化趋势。相较于基于经典BP的甲板运动预报方法实验结果，本文提出的预报模型在在线训练过程中，预测误差有一定程度的减小，即能够跟上实时训练及预报过程，并可以更精准快速地预估甲板运动。由此可以说明，基于优化模型的甲板运动预报技术对于随机甲板运动模型的预估是非常有效的，且提高学习速率后能够满足实时状态下的甲板运动预报精度要求。
针对预报模型的性能研究，测试其在4级海况下提前4，7，10，13，16，19 s对甲板的升沉运动进行预报，实验结果如表1所示，可以得出，基于优化算法的预报模型在16 s内都能比较准确地预估甲板未来运动趋势，且对升沉、纵摇和横摇3种运动的实验结果误差都能满足精度要求。
表 1 甲板运动预报性能Table 1. Deck motion prediction performances时间/s 升沉MSE/m 纵摇MSE/(°) 横摇MSE/(°) 4 0.024875 0.025589 0.029882 7 0.023695 0.036056 0.027329 10 0.029782 0.039349 0.043956 13 0.06856 0.076037 0.077719 16 0.089719 0.09724 0.095743 19 0.12533 0.14659 0.131588 在预报提前10 s的情况下分别对不同海况下的升沉、横摇和纵摇运动进行预估，如图7所示，可以看到在3～5级海况中，本文预报模型都能够精确地预测甲板未来运动趋势。可以说明，本文预报模型能够适应复杂环境及不同程度的剧烈运动挑战。
图 7 本文预报模型在不同海况下的仿真结果Figure 7. Simulation results of the proposed predicting model under different sea conditions3. 基于超前网络的甲板运动补偿
舰载机着舰过程中，为确保能够在目标着舰点与舰船甲板啮合，舰载机导引需要考虑到甲板的纵向运动问题，使得舰载机在着舰过程中避免因为舰船甲板下降导致舰载机着舰失败逃逸复飞，或舰船突然升高使得飞机撞击甲板或舰船尾部的情况。将理想的甲板着舰点的纵向运动即高度变化信息加入纵向自动着舰导引系统 (longitudinal automatic carrier landing system, {\left. {{\mathrm{ASCL}}} \right|_{{\mathrm{Long}}}} )中，以确保舰载机在着舰引导航行的同时能够跟随甲板扰动同相位运动[2,11]。
但由于纵向的导引系统在舰船运动的有效工作特征频段内会有不可避免的相位滞后，导致系统难以实时准确地跟踪甲板纵向运动，因此，针对相位产生的实时性能和误差问题，预先对舰船的高度变化进行补偿，以确保飞机着舰精度。图8为舰载机的纵向导引系统。
图中，{H_{{\mathrm{DM}}}}为理想的甲板高度变化信号，{H_0}为舰载机的初始高度， {H_{{\mathrm{com}}}} 为理想下滑轨迹，{H_{{\mathrm{error}}}}为高度偏差信号，DMP为甲板运动预报模型，DMC为甲板运动补偿模型。着舰过程中，结合甲板运动预报模型和甲板运动补偿模型，先根据甲板历史运动信号对甲板进行实时预报，再利用获得的预估甲板运动信息进行网络补偿，处理后引入到导引系统{\left. {{\mathrm{ASCL}}} \right|_{{\mathrm{Long}}}}中。
对于甲板的运动补偿采取相位超前网络{G_{{\mathrm{DMC}}}}(s)[12-13]，补偿模型需要对导引系统{\left. {{\mathrm{ASCL}}} \right|_{{\mathrm{Long}}}}的相位滞后进行补偿，则针对有效频段{\omega _s} = 0.2 \sim 1.0 rad/s，理想的补偿情况应当满足：
{\left. {{G_{{\mathrm{DMC}}}}(s){G_{{\mathrm{ACLS}}}}(s)} \right|_{s = j\omega ,\omega = 0.2 \sim 1.0}} = 1 (15) 式中：{G_{{\mathrm{ACLS}}}}(s)为导引系统{\left. {{\mathrm{ASCL}}} \right|_{{\mathrm{Long}}}}的闭环传递函数。
为保证着舰系统在有效频段中满足频域响应特性要求，采取如下结构：
{G_{\rm DMC}}(s) = {K_{\rm DMC}}{G_{\mathrm{L}}}(s){G_{\mathrm{C}}}(s){G_{\mathrm{F}}}(s) (16) 式中：{K_{\rm DMC}}为补偿滤波器增益；{G_{\mathrm{L}}}(s)为低通滤波器，用于抑制高频噪声；{G_{\mathrm{C}}}(s)为针对低通滤波的补偿环节；{G_{\mathrm{F}}}(s)为相位超前网络，对系统相位进行整体调整以确保舰载机在经过导引系统后与甲板运动同步。其中：
{G_{\mathrm{L}}}(s) = c{1}\bigg/\left({{\dfrac{1}{{{\tau _{\rm DMC}}}}s + 1}}\right) (17) {G_{\mathrm{C}}}(s) = \left({{\dfrac{{{s^2}}}{{{\omega _{\rm DMC}}^2}} + \dfrac{{2{\xi _{\rm DMC}}}}{{{\omega _{\rm DMC}}}}s + 1}}\right)\bigg/{{{{\left( {\dfrac{1}{{{\omega _n}}}s + 1} \right)}^2}}} (18) {G_{\mathrm{F}}}(s) = \left({{\alpha Ts + 1}}\right)/\left({{Ts + 1}}\right) (19) 取滤波器时间常数{\tau _{\rm DMC}}为2 s，自然频率{\omega _{\rm DMC}}为0.65 rad/s，阻尼{\xi _{\rm DMC}}为0.45作为仿真的超前补偿网络。
采用确定的甲板运动模型进行补偿模型仿真验证如图9所示。
4. 甲板运动扰动着舰系统仿真验证
4.1 舰载机纵向运动模型
舰载机纵向控制系统如图10所示，信号通过控制律将指令传送给舵机，并计算出运动模型获取运动参数。
根据飞机运动状态的动力学关系可以得到舰载机的运动学方程组如下：
\left\{ \begin{gathered} {{\dot \theta }_{\mathrm{f}}} = q\cos \phi - r\sin \phi \\ \dot \psi = \frac{1}{{\cos {\theta _{\mathrm{f}}}}}(q\sin \phi + r\cos \phi ) \\ \dot \phi = p + q\sin \phi \tan {\theta _{\mathrm{f}}} + r\cos \phi \tan {\theta _{\mathrm{f}}} \\ \end{gathered} \right. (20) 式中：{\theta _{\mathrm{f}}}为俯仰角；\psi 为偏航角；\phi 为滚转角；p、q和r分别为绕机体坐标系x轴、y轴和z轴的角速度。
{\dot {\boldsymbol{x}}_{\mathrm{h}}} = {\boldsymbol{A}}_{\mathrm{s}}{{\boldsymbol{x}}_{\mathrm{h}}} + {\boldsymbol{B}}{\boldsymbol{u}} (21) 式中：{{\boldsymbol{x}}_{\mathrm{h}}}表示飞机的各个状态变量；{\boldsymbol{u}}为飞机的控制量；{\boldsymbol{A}}_{\mathrm{s}}和{\boldsymbol{B}}为{{\boldsymbol{x}}_{\mathrm{h}}}和{\boldsymbol{u}}线性关系的对应状态空间矩阵。其中：
\left\{ \begin{array}{l} {{\boldsymbol{x}}_{\mathrm{h}}} = {\left[ {\Delta V,\Delta \alpha ,\Delta \beta ,\Delta p,\Delta q,\Delta r,\Delta {\theta _{\mathrm{f}}},\Delta \phi ,\Delta \psi } \right]^{\rm T}} \\ {\boldsymbol{u}} = {\left[ {\Delta {\delta _{\mathrm{e}}},\Delta {\delta _{\mathrm{T}}},\Delta {\delta _{\mathrm{a}}},\Delta {\delta _{\mathrm{r}}}} \right]^{\rm T}} \end{array} \right. (22) 式中：V为速度；\alpha 为迎角；\beta 为侧滑角；{\delta _{\mathrm{e}}}为升降舵偏角；{\delta _{\mathrm{T}}}为油门开合度；{\delta _{\mathrm{a}}}为副翼偏角，{\delta _{\mathrm{r}}}为方向舵偏角。
若围绕舰载机纵向运动来讨论，建立飞机纵向运动模型，则可以将状态参数简化为
\left\{ \begin{array}{l}{{\boldsymbol{x}}_{\mathrm{h}}} = {\left[ {\Delta V,\Delta \alpha ,\Delta q,\Delta {\theta _{\mathrm{f}}}} \right]^{\rm T}} \\ {\boldsymbol{u}} = {\left[ {\Delta {\delta _{\mathrm{e}}},\Delta {\delta _{\mathrm{T}}}} \right]^{\rm T}} \end{array} \right. (23) 设定舰载机的瞬时状态参数如表2所示。
表 2 舰载机瞬时状态Table 2. Transient state parameters of carrier aircraft参数 数值 参数 数值 高度h/m 120 偏航角速度r/((°)·s−1) 0 速度V/(m·s−1) 65.0 滚转角速度p/((°)·s−1) 0 迎角\alpha /(°) 8 俯仰角速度q/((°)·s−1) 0 侧滑角\beta /(°) 0 升降舵偏角{\delta _{\mathrm{e}}}/(°) −3.17 俯仰角{\theta _{\mathrm{f}}}/(°) 5 副翼偏角{\delta _{\mathrm{a}}}/(°) 0 偏航角\psi /(°) 0 油门开合度{\delta _{\mathrm{T}}}/% 0.43 滚转角\phi /(°) 0 方向舵偏角{\delta _{\mathrm{r}}}/(°) 0 得到舰载机的状态空间参数矩阵为
\left\{ \begin{array}{l} {\boldsymbol{A}}_{\mathrm{s}} = \left[ {\begin{array}{*{20}{c}} { - 0.087\;3}&{3.405\;3}&{ - 0.024\;5}&{ - 32.735\;1} \\ { - 0.001\;5}&{ - 0.557\;9}&{0.989\;7}&{0.008\;5} \\ 0&{ - 0.300\;1}&{ - 0.185\;4}&0 \\ 0&0&1&0 \end{array}} \right] \\ {\boldsymbol{B}} = \left[ {\begin{array}{*{20}{c}} { - 0.004\;5}&{18.780\;3} \\ { - 0.001\;4}&{ - 0.011\;8} \\ { - 0.028\;5}&0 \\ 0&0 \end{array}} \right] \end{array} \right. (24) 4.2 仿真验证
为验证本文甲板运动预报模型和补偿模型在实际工程应用的可行性，使用建立的飞机运动模型和甲板运动模型进行仿真验证。
舰载机着舰过程中纵向运动的示意图如图11所示。
设定飞机飞行高度为{h_0}为120 m，空速为65 m/s，舰船航速为15 m/s，舰船甲板高度为30 m，吃水深度为10 m，即甲板距海平面距离{h_{\mathrm{c}}}为20 m，舰载机距离舰船甲板着舰点的水平距离为
1256.98 m，进行仿真验证。使用经典BP的甲板运动预报如图12所示；将本文预报技术及补偿技术相结合导入舰载机导引系统，本文预报模型的舰载机纵向航迹图如图13所示。
图 12 基于经典BP预报技术的舰载机纵向着舰航迹Figure 12. Longitudinal landing track of carrier aircraft based on classical BP prediction technology
图 13 本文预报模型的舰载机纵向着舰航迹Figure 13. Longitudinal landing track of carrier aircraft based on the proposed predicting model由图12和图13可知，经典的BP预报技术会使舰载机着舰的纵向实际航迹与理想航迹的相对误差随时间的变化而越来越大，且有一定的相位差；而使用本文预报模型与补偿技术相结合，则使舰载机着舰的纵向实际航迹与理想航迹基本吻合，且相对误差保持在较小的范围内。
上述仿真结果可以说明，本文预报模型可以保证舰载机在着舰情况下能够提前预估到较为精确的甲板运动状态，同时加入的甲板补偿技术能够消除导引系统自身的问题带来的相位差，以保证舰载机与甲板同相位运动。
针对舰载机由于甲板运动的扰动产生的纵向位移进行验证分析，图14为舰载机的甲板运动扰动响应与实际着舰点高度变化对比图，由图可知，飞机经过预报模型与补偿模型的相互作用，着舰系统能够使机体运动与甲板运动保持同相位，且误差较小。
图15和图16为仿真验证中状态参数的动态响应，由图可知，舰载机在甲板运动扰动下的迎角和速度响应基本控制在小范围内。
在不同海况下进行验证，得到舰载机甲板运动扰动的误差情况如表3所示，由表可知，在不同的海况下，预报模型和补偿模型都能够配合系统准确地进行着舰，从而提高着舰成功率。
表 3 不同海况下纵向甲板运动扰动实验结果Table 3. Experimental results of longitudinal deck motion disturbance under different sea conditions海况 高度平均误差/m 高度误差标准差/m 5级 0.460 34 3.613 54 4级 0.376 16 4.510 79 3级 0.393 52 4.014 54 5. 结 论
1） 本文介绍了基于BP人工神经网络的甲板运动预报方法和采用超前网络的补偿方法，提出采用反向传播优化算法和在线训练以确保神经网络模型应用能够高精度、高速率并行。
2） 在基于正弦波组合的甲板运动模型和舰载机纵向运动模型上，验证本文甲板运动预报模型和补偿模型的性能，仿真结果表明，本文预报模型对于随机甲板运动模型的预估在3～16 s内是非常有效的，并且能够适应多种海况各方向运动的挑战，补偿模型能够确保飞机准确追踪甲板高度信息并同相位运动。针对舰载机着舰过程的甲板运动扰动，预报和补偿技术相结合能够有效地处理扰动问题，提高着舰成功率。
-
图 1 动态显著图调整效果前后对比
Figure 1. Effect comparison of dynamic saliency map before and after adjustment
图 3 关键帧提取主要方法内容和整体技术框架
Figure 3. Main method content and overall technical framework of key frame extraction
图 5 数据集在不同方法上的显著性图比较
Figure 5. Comparison of saliency maps of datasets among different methods
图 7 视频“v20.flv”及“v101.flv”在不同摘要算法下的结果
Figure 7. Results of video "v20.flv" and "v101.flv" under different summarization algorithms
图 8 运动视频在不同摘要算法下的结果
Figure 8. Results of sports video under different summarization glgorithms
表 1 运动视频在不同摘要算法下的对比
Table 1. Comparison of sports videos under various summarization algorithms
算法 准确率 错误率 漏检率 精度 召回率 F-measure OV 0.58 0.08 0.42 0.88 0.58 0.7 VSUMM 0.42 0.08 0.58 0.83 0.42 0.56 STIMO 0.67 0.08 0.33 0.89 0.67 0.76 SD 0.33 0.25 0.67 0.57 0.33 0.42 KBKS 0.5 0.08 0.5 0.86 0.5 0.63 本文 0.92 0 0.08 0.92 0.92 0.92 
下载: 导出CSV
-
[1] 唐铭谦. 基于对象的监控视频摘要算法研究[D]. 西安: 西安电子科技大学, 2018: 1-3.TANG M Q. The research of surveillance video synopsis algorithm based on objects[D]. Xi'an: Xidian University, 2018: 1-3(in Chinese). [2] 刘全, 翟建伟, 钟珊, 等. 一种基于视觉注意力机制的深度循环Q网络模型[J]. 计算机学报, 2017, 40(6): 1353-1366.LIU Q, ZHAI J W, ZHONG S, et al. A deep recurrent Q-network based on visual attention mechanism[J]. Chinese Journal of Computers, 2017, 40(6): 1353-1366(in Chinese). [3] 郎洪, 丁朔, 陆键, 等. 复杂场景下的交通视频显著性前景目标提取[J]. 中国图象图形学报, 2018, 24(1): 50-63.LANG H, DING S, LU J, et al. Traffic video significance foreground target extraction in complex scenes[J]. Journal of Image and Graphics, 2018, 24(1): 50-63(in Chinese). [4] 张芳, 王萌, 肖志涛, 等. 基于全卷积神经网络与低秩稀疏分解的显著性检测[J]. 自动化学报, 2019, 45(11): 2149-2158.ZHANG F, WANG M, XIAO Z T, et al. Saliency detection via full convolution neural network and low rank sparse decomposition[J]. Acta Automatica Sinica, 2019, 45(11): 2149-2158(in Chinese). [5] 李庆武, 马云鹏, 周亚琴, 等. 基于无监督栈式降噪自编码网络的显著性检测算法[J]. 电子学报, 2019, 47(4): 871-879. doi: 10.3969/j.issn.0372-2112.2019.04.015LI Q W, MA Y P, ZHOU Y Q, et al. Saliency detection based on unsupervised SDAE network[J]. Acta Electronica Sinica, 2019, 47(4): 871-879(in Chinese). doi: 10.3969/j.issn.0372-2112.2019.04.015 [6] 陈炳才, 陶鑫, 陈慧, 等. 融合边界连通性与局部对比性的图像显著性检测[J]. 计算机学报, 2020, 43(1): 16-28.CHEN B C, TAO X, CHEN H, et al. Saliency detection via fusion of boundary connectivity and local contrast[J]. Chinese Journal of Computers, 2020, 43(1): 16-28(in Chinese). [7] ABLAVATSKI A, LU S, CAI J. Enriched deep recurrent visual attention model for multiple object recognition[C]//Proceedings of IEEE Winter Conference on Applications of Computer Vision (WACV). Piscataway: IEEE Press, 2017: 971-978. [8] QU S, XI Y, DING S. Visual attention based on long-short term memory model for image caption generation[C]//Proceedings of Chinese Control and Decision Conference (CCDC). Piscataway: IEEE Press, 2017: 4789-4794. [9] LIU G H, YANG J Y. Exploiting color volume and color difference for salient region detection[J]. IEEE Transactions on Image Processing, 2019, 28(1): 6-16. doi: 10.1109/TIP.2018.2847422 [10] LI Z, TANG J, WANG X, et al. Multimedia news summarization in search[J]. ACM Transactions on Intelligent Systems and Technology, 2016, 7(3): 1-20. [11] HU T L, LI Z C. Video summarization via exploring the global and local importance[J]. Multimedia Tools and Applications, 2018, 77(17): 22083-22098. doi: 10.1007/s11042-017-5479-y [12] MENG J, WANG S, WANG H, et al. Video summarization via multi-view representative selection[C]//Proceedings of IEEE International Conference on Computer Vision (ICCV). Piscataway: IEEE Press, 2017: 1189-1198. [13] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282. doi: 10.1109/TPAMI.2012.120 [14] YANG C, ZHANG L, LU H, et al. Saliency detection via graph-based manifold ranking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2013: 3166-3173. [15] PERAZZI F, KRAHENBUHL P, PRITCH Y, et al. Saliency filters: Contrast based filtering for salient region detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2012: 733-740. [16] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2009: 1597-1604. [17] WEI Y C, WEN F, ZHU W, et al. Geodesic saliency using background priors[C]//Proceedings of European Conference on Computer Vision (ECCV). Berlin: Springer, 2012: 29-42. [18] DEMENTHON D, KOBLA V, DOERMANN D. Video summarization by curve simplification[C]//Proceedings of ACM International Conference on Multimedia. New York: ACM Press, 1998: 211-218. [19] DE AVILA S E F, LOPES A P B, DA LUZ A, et al. VSUMM: A mechanism designed to produce static video summaries and a novel evaluation method[J]. Pattern Recognition Letters, 2011, 32(1): 56-68. doi: 10.1016/j.patrec.2010.08.004 [20] FURINI M, GERACI F, MONTANGERO M, et al. STIMO: Still and moving video storyboard for the web scenario[J]. Multimedia Tools and Applications, 2010, 46(1): 47-69. doi: 10.1007/s11042-009-0307-7 [21] CONG Y, YUAN J, LUO J. Towards scalable summarization of consumer videos via sparse dictionary selection[J]. IEEE Transactions on Multimedia, 2012, 14(1): 66-75. doi: 10.1109/TMM.2011.2166951 [22] GUAN G, WANG Z, LU S, et al. Keypoint based keyframe selection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 23(4): 729-734. 期刊类型引用(1)
1. 钟文义，梁世哲，张斌，唐鹏，刘可娜. 高空无人机桨发匹配设计及效率提升. 工程设计学报. 2024(06): 725-732 . 
百度学术其他类型引用(0)
-
下载:
下载:
百度学术
点击查看大图
计量
- 文章访问数: 658
- HTML全文浏览量: 205
- PDF下载量: 118
- 被引次数: 1
