留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

PMMWI与Ⅵ优势互补的人体隐蔽违禁物检测与定位

赵国 秦世引

叶鸿, 顾乃杰, 林传文, 等 . 一种基于HXDSP的移位器查找表技术[J]. 北京航空航天大学学报, 2019, 45(10): 2044-2050. doi: 10.13700/j.bh.1001-5965.2019.0039
引用本文: 赵国, 秦世引. PMMWI与Ⅵ优势互补的人体隐蔽违禁物检测与定位[J]. 北京航空航天大学学报, 2019, 45(10): 2011-2025. doi: 10.13700/j.bh.1001-5965.2019.0019
YE Hong, GU Naijie, LIN Chuanwen, et al. A shifter look-up table technique based on HXDSP[J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(10): 2044-2050. doi: 10.13700/j.bh.1001-5965.2019.0039(in Chinese)
Citation: ZHAO Guo, QIN Shiyin. Detection and localization of concealed forbidden objects on human body based on complementary advantages of PMMWI and Ⅵ[J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(10): 2011-2025. doi: 10.13700/j.bh.1001-5965.2019.0019(in Chinese)

PMMWI与Ⅵ优势互补的人体隐蔽违禁物检测与定位

doi: 10.13700/j.bh.1001-5965.2019.0019
基金项目: 

国家自然科学基金 61731001

详细信息
    作者简介:

    赵国  男, 博士研究生。主要研究方向:深度学习、图像语义分割、目标的检测与识别

    秦世引  男, 博士, 教授, 博士生导师。主要研究方向:图像处理、模式识别、智能优化控制等

    通讯作者:

    秦世引, E-mail: qsy@buaa.edu.cn

  • 中图分类号: TP391

Detection and localization of concealed forbidden objects on human body based on complementary advantages of PMMWI and Ⅵ

Funds: 

National Natural Science Foundation of China 61731001

More Information
  • 摘要:

    根据公共场所人体安检的性能要求和技术需求,将被动毫米波成像(PMMWI)的可透视成像性能优势与可见光成像(Ⅵ)的细节高分辨性能优势相结合,提出一种基于PMMWI与Ⅵ优势互补的人体隐蔽违禁物检测与定位算法。首先,提出一种基于低层特征融合的改进U-Net以增强深度神经网络(DNN)对PMMWI中弱小目标轮廓的敏感度,提高PMMWI中人体轮廓和隐蔽违禁物的分割精度,并同时实现Ⅵ中人体轮廓的像素级分割;然后,在PMMWI和Ⅵ中的人体轮廓分割基础上,通过基于人体轮廓的尺度变换与滑动适配实现PMMWI人体轮廓和Ⅵ人体轮廓的良好配准,根据配准结果实现单帧图像中人体隐蔽违禁物的高效检测;最后,通过序列图像检测结果的对比融合与优化决策给出隐蔽违禁物的定位结果。一系列综合实验与对比分析结果,验证了提出的人体隐蔽违禁物检测与定位算法的性能优势。

     

  • 数字信号处理器(DSP)芯片是对信号和图像实时处理的一类芯片, 其具有高性能、低功耗和低成本等特点,在通信、雷达、电子对抗、仪器仪表等领域有着广泛的应用[1]。随着现代通信技术的发展,数字电视广播(DVB)、数字媒体播放(DMB)、数字音频广播(DAB)等技术的全面应用与拓展,处理器对数字信号处理领域算法的性能需求也愈发强烈, 如快速傅里叶变换(FFT)、有限冲激响应(FIR)、无限冲激响应(IIR)等。高性能DSP技术已成为目前集成电路领域发展速度最快、竞争最激烈的研究方向。

    数字信号处理应用通常涉及大量的数据传输与运算。对于FFT、FIR等数据密集型算法,数据吞吐率很大程度上决定了算法的直接效率。输入数据需经过多次读取、计算后,再重新写回内存中。对于部分计算较为简单的运算环节,同一数据的高频次的取数、写回过程会导致数据传输拥堵、运算部件闲置、总线带宽负载过重等问题,进而引发流水线停滞,带来大量时间、空间上的开销和浪费。因此,采用高效便捷的传输策略,在数字信号处理领域尤为重要。

    在处理DSP芯片的传输瓶颈问题时,通常会采用调整访存策略、提高传输带宽、扩充寄存器、增加Cache等方式来提高吞吐量[2]。Lee和Sunwoo[3]基于DSP芯片提出数据处理单元(DPU),可以让现有DSP芯片的访存速度提高一倍。Nishitsuji等[4]则提出通过增加额外bank,利用5-bank的错位内存结构来缓解访存冲突问题。Chang和Sung[5]采用设计额外的访存Cache,用以解决非连续和非对齐数据访问的问题。这些方式大多需要对专用芯片进行大量的硬件调整,更多地侧重于通过扩充硬件或调整策略的方式提高传输总量。但在同一块处理器上,硬件的过分扩充会影响其通用性,且额外增加的通道相互之间可能产生相干或冲突[6]。Le等[7]提出一种高级访存管理方案,该方案可以动态计算并有效预测地址,从而实现访存的规范管理。Luo[8]和Hsiao[9]等则通过针对数字信号处理领域中特定应用的算法特点,进行访存策略设计,从而达到充分利用现有访存资源的目的。然而,这些方式大多数基于通用访存设备和额外硬件。在充分利用现有资源的同时,还可以深挖其他部件的使用价值,使资源利用效率达到更高的程度。

    本文首先提出了一种基于移位器的查找暂存技术,通过为移位器额外添加专用暂存空间随机存取存储器(RAM),从而形成传输缓存区。其次,通过移位器查找表(LUT)的方式对相应区域进行灵活存读取,并对运算中间过程数据进行暂存,以达到缓解系统访存压力的目的。此外还充分利用移位器数据暂存过程中对数据进行简单移位、提取、算术与逻辑运算等能力,将部分数据运算处理的过程直接融合在数据存读取过程中,取数、计算、写回的过程完全在移位器中实现,显著地提高了运算部件的使用效率。

    在普通微处理器中,一般没有单独的移位器单元,相应的移位运算通过逻辑运算单元实现。但在数字信号处理领域,移位操作被广泛使用在计数器、分频器及译码器上。信号处理算法普遍涉及大量的移位操作,单纯通过算术逻辑单元(ALU)来实现移位功能不仅无法满足运算需求,同时会造成运算资源的浪费。所以一般DSP芯片中都设计有专用的移位器,其性能直接影响到所在DSP的处理能力和执行速度[10]

    移位器是DSP中的重要部件,其可以实现对源操作数进行任意裁减、分解、移位和拼接等功能。在传统CPU中,移位器的设计一般采用矩阵结构和树状结构。而在DSP芯片上,为满足移位器由一个时钟周期内完成一次简单的移位发展到在一个时钟周期内可进行大量位数的移位操作的需求,桶形移位器[11-12]与对数移位器[13]先后被提出和实现,并发展成混合译码移位器。如今的移位器,在逻辑/算数运算、压缩及拓展、移位裁减、位域操作、数据传输及校验等方向有着广泛的应用。

    在DSP领域的移位器的研究中, 大量工作的研究方向都是提高其运算速度, 以及降低移位器功耗。除此之外,为移位器设计专用暂存RAM,可在部分算法应用,运算部件负载压力较小但传输带宽总线压力较大时,充当数据中转区,以实现数据暂存。使用专用RAM和LUT辅助移位器的设计思路,在现场可编程门阵列(FPGA)领域有一定的应用。Xilinx公司的Block ram[14](基于RAM模拟的移位器)与Altera公司的Altshift_taps[15]通过在FPGA中模拟实现类似功能,但它们为一个IP核结构,并非移位器专用部件,在专用DSP芯片中也没有类似结构。因为移位器暂存部件与数据访存总线之间并不冲突,在同一指令发射上,同时采用移位器查找存储和数据访存的方式,可以极大效率地提高数据吞吐效率,而不产生相干。

    通过移位器查找表进行的数据暂存,利用移位器取数的灵活特性,不仅可以实现数据的暂存,还可以在寄存器使用压力较大的算法中,分担部分寄存器存储压力。同时,在分簇DSP的单指令多数据流(SIMD)运算的过程中,常常会因为数据宏间传输限制、从属于不同bank的相邻数据之间运算等问题,造成流水线停滞,浪费大量时间和空间。利用移位器查找表作为宏间数据传输中转站,还可以达到提高数据访问效率,减少运算bank冲突的作用。

    HXDSP是国内某研究所研制的第二代高性能超长指令字(VLIW)DSP芯片[16],其结构如图 1所示。它是一款32位静态超标量处理器,内部集成2个新一代处理器核eC104+,工作主频为800 MHz~1 GHz。采用16纳米工艺,16发射、SIMD架构,通信带宽为252 Gbit/s,存储容量105 Mbit,运算性能可达134 GFLOPS(GFLOPS表示每秒10亿次的浮点运算数)。

    图  1  HXDSP104x系统架构
    Figure  1.  Architecture of HXDSP104x system

    HXDSP的每个核心处理器如图 2所示,其采用哈佛体系结构,有独立的程序总线和数据总线。HXDSP处理器有宽度为512 bit的指令总线和非对称全双工的内部数据总线。其包括4个基本执行宏(element operation macro),每个执行宏由8个ALU、8个乘法器(MUL)、4个移位器(SHF)、1个超算器(SPU)以及128个通用寄存器组成。

    图  2  HXDSP处理器向量处理单元
    Figure  2.  Vector processing unit for HXDSP Processor

    在HXDSP的每个分簇中(HXDSP的4个执行宏,即4个分簇,分别称为Cluster xyzt),包含4个移位器(Shifter 0~Shifter 3)[17]。为移位器增加的额外暂存空间结构如图 3所示,移位器查找表TAB是移位器内部对应的RAM,每个移位器对应一个TAB,用参数k来区分各移位器。每个移位器包含4块8 bit RAM (Table 0~Table 3), 每块8 bit RAM又分为4个块(用参数n表示),共计16块,每块256×8 bit。

    图  3  移位器查找表结构
    Figure  3.  Structure of shifter look-up table

    当用户从移位器取一个标准32 bit数数据时,从4块RAM的每个第n位置,分别取一个8 bit数据,组成一个32 bit。当用户从移位器取一个标准16 bit数时,有2种方式:①从第0、1块RAM的第n个位置,每块取一个8 bit数据,组成一个16 bit;②从第2、3块RAM的第n个位置,每块取一个8 bit数,组成一个16 bit。第0、1块RAM取出的16 bit可与32 bit通用寄存器的低16 bit做运算,第2、3块RAM取出的16 bit数可与32 bit通用寄存器的高16 bit做运算。

    基于这样的硬件结构,HXDSP的移位器查找表通用访问指令为

    Rs=STABn(LLORm)(k)\STABn(LLORs)=Rm(k)

    Rs=STABn(HLORm)(k)\STABn(HLORs)=Rm(k)

    Rs=STABn(LHORm)(k)\STABn(LHORs)=Rm(k)

    Rs=STABn(HHORm)(k)\STABn(HHORs)=Rm(k)

    在这组微操作指令中,“\”左侧为通用寄存器从移位器查找表中读出数据,右侧为通用寄存器将数据写入移位器查找标中。其中STAB为移位器查找表指令形式,n指代每个TAB的4块8 bit RAM中的序号(0~3)。在HXDSP指令架构寻址移位器查找表的过程中,一般将一个32 bit通用寄存器Rm划分为4个8位区域:[7:0]、[15:8]、[23:16]、[31:24],分别称为低位、次低位、次高位、高位,并通过读取指定区域上的8位数值,映射查找表中的具体地址。同一个8 bit RAM中的4块分别读出一个8 bit数据,即可拼接成一个需要的32 bit数。

    DSP芯片作为数字信号处理领域的通用处理器,经常会面对各种算法的需求与性能考量[18]。有些算法特点为数据密集型,即在函数运算的过程中,运算部件的运算占用率不高,此时性能瓶颈主要在带宽总线的吞吐上;有些算法为运算密集型,此时至少有一种运算部件在核心周期指令发射上接近满负荷,运算占用率接近1,此时性能瓶颈主要在算法与运算部件上。还有一些算法,在计算的不同阶段,对传输和运算有不同的需求,可能在算法的不同时期,分别造成不同瓶颈。如基-2点的FFT算法,会在不同的运算层,产生传输瓶颈与运算瓶颈。

    FFT算法在计算和实现的过程中,需要对大量旋转因子(twiddle)及中间层数据进行暂存。对于这类数据密集型运算,单纯依靠总线带宽,往往会造成运算部件的闲置和资源浪费。HXDSP平台每个执行宏中,含有4个移位器,所以在同一条指令行可以执行4条移位器查找表指令。4个执行宏同时执行时,每个时钟周期可以读取4×4个32bit数据。同时,HXDSP拥有3条64 bit非对称全双工的内部数据总线,可同时进行两读一写或两写一读操作,每次2个32 bit数据。

    当4个执行宏同时执行运算时,可以对存储器读取或写入2×4×2×32 bit数据。即采用移位器查找表暂存方式,有着与访存指令相同的吞吐能力。基于HXDSP的16发射、SIMD架构,移位器查找表的暂存指令可以和数据存储指令同时执行,使得访存速度提升至原来的2倍。这显著地提升了平台数据吞吐能力,有助于解决内存读写速度与运算部件计算速度不匹配的问题。对于FFT、FIR等访存密集型算法,有着较大的性能提升作用。

    在基-2或者基-2n的FFT运算中,数据地址寻址会随着层数的变化而变化。图 4为16点DIT-FFT算法实现图,DIT模式算法,在数据读入时,需要对输入地址进行位反序寻址。寻址过程通常会选择将基地址依层次变化加上相应偏移地址形成实际访存地址。这就需要针对相应层次,为基地址加上32、16、8等偏移量。但如表 1所示,考虑到偏移地址依层次变化,十进制中变址跃迁的8、16、32等相对距离,转换成二进制机器数据,就是针对寄存器中二进制表示的数据的其中某一位去置0或置1。这些被读取数据地址的变化,可利用移位器作为暂存寄存器处理。移位器可在作为替代内存进行访存指令数据暂存的同时,额外进行一定的逻辑或算数运算。从而在不产生额外时钟周期消耗的同时,完成一些需要的运算。

    图  4  16点DIT-FFT
    Figure  4.  16-DIT-FFT
    表  1  64点FFT偏移地址
    Table  1.  64-FFT offset address
    层数 偏移(D) 偏移(O)
    1 32 100000
    2 16 010000
    3 8 001000
    4 4 000100
    5 2 000010
    6 1 000001
    下载: 导出CSV 
    | 显示表格

    为增强对移位器查找表访存过程中额外运算的支持,文中提出一种改良微指令Rs=STABn(Rm)(k)。

    该指令以Rm寄存器的高位与低位分别存储映射查找表中具体地址的8 bit数值及调整自增数值的偏移位,使寄存器在一条指令中能够在存/读取移位器查找表的同时,完成偏移量修正自增工作。在FFT运算中,常常会出现4个移位器全部用于移位器查找表的读写;8个ALU全部用于蝶形计算。所以如果中间再加入移位器查找表中的标志寄存器自增指令,能节省不必要的开销。

    微指令Rs=STABn(Rm)(k)完成过程:

    1) 以源寄存器Rm的低位[7:0]为地址,读出需访存移位器查找表中的目的位置s

    2) 从4块RAM的每个第s位置,每块取一个8 bit数据,组成一个32 bit数并将这个32 bit数赋给目的寄存器堆Rs

    3) 同时以寄存器Rm的次高位[23:16]为地址,读出下一次源寄存器低位[7:0]读取变更数据位。当算法需求为自增时,最低位置1,当算法需求为FFT等呈2n次幂形式递增时,修改相应数据位。

    4) 读取STAB查找表中相应数据并赋给目的寄存器堆Rs的同时,在同一个时钟周期内,更源寄存器Rm,进入下一次运算。

    在这样的指令形式下,FFT算法可对中间层临时数据进行按需读取或存储操作。并且在暂存器访存指令执行的同时对相应偏移地址进行调整,从而达到在同一条指令中实现取数、取值、运算、更新的全部过程。这一过程显著地提升了运算效率,为访存部件和运算器都减轻了工作压力。而当变更寄存器置位为最低位为1时,可利用移位器部件,实现循环自增寻址工作。这一功能可以广泛运用在数字信号处理,数字图像处理等领域。

    本文还提出另一种改良微指令

    HSTABn(LORs)+=HRm(U, k)

    该指令利用Rs的次低位[15:8]和低位[7:0]位寻址高16 bit和低16 bit,分别取出第n(n可以取0、1、2、3)块STAB中的2个16位数,并分别与Rm[19:16]和[3:0]累加,累加结果存入原位置。高效直接地对移位器查找表中的数据进行调整修改,从而提高了工作效率。

    移位器查找表的RAM的存在,类似于寄存器与内存之间的Cache,能够完成部分数据的暂存作用。但是因为移位器自身的特点,它可以灵活地对暂存的数据进行选择性输出或处理,甚至在寄存器使用瓶颈的时候,起到部分替代寄存器的作用。

    HXDSP原有微指令STABd(Rn, Rs, Rm)(k)的作用是把寄存器Rm的值写入到STAB中,同时把STAB中某个位置的值读出到寄存器Rsk指定本指令在哪个移位器上执行,在第2个字的[1:0]位。d指定本指令占用的STAB块,在第2个字[3:2]位。Rn[7:0]位指定读出STAB中某一块的位置。寄存器Rn[23:16]指定写入STAB中某一块的位置。

    本文同时提出对STAB(Rn, Rs, Rm)这一微指令的修改方案。

    在目前的这条指令中,Rn的低位[7:0]用于移位器查找表中读位置的标识,次高位[23:16]用于移位器查找表中写位置的标识,如:

    此时次低位[15:8], 高位[32:24]空闲。对于寄存器资源紧张的算法应用,如FFT算法的中间层代码编写,是极大的浪费。

    因此可调整成:

    这样可以充分利用Rn寄存器,将一个寄存器划分成2个,使寄存器使用紧张的情况得以缓解。同时由于移位器查找表的灵活寻址取数方式,它实际上构成了寄存器与内存区域中间一层灵活的缓冲区。在高效完成大量移位操作的同时,为DSP芯片的数据传输、运算部件使用、寄存器分配充分地分担了压力。

    HXDSP的微指令Rs=STABn(LLORm)(k)每次执行,只占用一个移位器,指令周期为1个cycle。因为HXDSP是一个支持4个执行宏4路SIMD指令的处理器,每个执行宏又包括4个移位器,所以在每一个时钟周期中,最多可以4路并行执行4条上述指令,即一个周期可存取4×4×32 bit。因此,通过移位器查找表指令,可实现一个时钟周期对16个寄存器的暂存访问。

    同时,HXDSP拥有3条非对称全双工总线,可以在同一指令行同时进行两读一写或两写一读操作。HXDSP的通用读写指令{x, y, z, t}Rs+1:s=[Un+=Um, C]支持双字读写,即每次执行可以存读取连续的2个32 bit数据,指令周期也为1个cycle。其中Un表示寻址的起始地址,Um表示每次寻址之后的基地址跃迁地址,立即数C表示寻址过程中的偏移地址。因此每个时钟周期最多可以进行2×2×4×32 bit的读操作或者写操作,即在一个时钟周期内,HXDSP可对16个寄存器进行访存读写操作。

    上述对比表明,移位器查找表有着和HXDSP访存总线相同的传输效率和吞吐能力。当面对数据密集型运算时,可利用传输指令和移位器的暂存RAM进行复合读写操作,存读取速度可扩展到之前的2倍,极大地缓解数据访存压力。

    基于移位器查找表,可以对数字信号处理应用中许多算法进行加速优化。对于数字信号处理算法如FFT,移位器查找表可以作为DIF-FFT寻址中相应偏移地址形成的加法器;也可以作为旋转因子及中间层运算结果的暂存器,以提高运算过程中的访存效率。

    图 5所示,对于基-2点的FFT算法,移位器查找表的暂存功能对FFT的访存性能有显著地提升。图中,横坐标表示FFT算法的具体运算规模,左侧纵坐标表示算法运行的实际运算周期数,右侧纵坐标表示使用移位器查找表前后加速比。当点数为64时,由于FFT点数较少,部分中间运算可以直接用寄存器存储,所以加速比不高。当FFT点数小于等于1 024点时,FFT效率显著提升,加速比约为1.20。这是因为所有数据的中间计算暂存可以在移位器查找表中完成,可充分提高访存效率。而当FFT点数大于1 024点时,加速比略有下降,但是依然稳定在1.15左右。这是因为对于大点数的FFT,数据访问无法完全在移位器查找表中实现,其访存过程需要和访存总线同时进行。

    图  5  使用移位器查找表前后对比
    Figure  5.  Comparison with and without shifter look-up table

    HXDSP是一款高性能的VLIW DSP芯片,基于其开发设计的移位器暂存RAM与移位器查找表的架构,是一种新颖而灵活的移位器拓展结构。其在高效完成数字信号处理应用中大量移位操作的同时,还可以在一定程度上分担芯片的传输与运算压力。HXDSP的移位器查找表在同一周期内,有着和系统总线同样的传输带宽,不仅可以分担传输压力,还可以将部分简单运算过程融入其中,极大地提高了芯片的使用效率。

    目前这一技术尚在试用及继续开发中,关于移位器查找表的适应指令集依然在调整和扩充。本文提出一种对移位器查找表的高效使用,并对现有指令集进行了两处调整和升级。相信在不久的将来,会有更多更高效的创新,让这一技术和结构,能够在DSP领域,发挥更出色的作用。

  • 图 1  主/被动毫米波成像安检设备示例

    Figure 1.  Illustration for AMMWI and PMMWI security check equipment

    图 2  主/被动毫米波成像结合互补的安检方案

    Figure 2.  Security check scheme based on combination and complementation of AMMWI and PMMWI

    图 3  PMMWI和Ⅵ示例

    Figure 3.  Samples of PMMWI and Ⅵ

    图 4  基于PMMWI和Ⅵ优势互补的检测与定位方案

    Figure 4.  Detection and localization scheme based on complementary advantage of PMMWI and Ⅵ

    图 5  基于PMMWI和Ⅵ优势互补的隐蔽违禁物检测与定位系统的组织结构与核心模块

    Figure 5.  Organization structure and core modules of concealed forbidden object detection and localization system based on complementary advantage of PMMWI and Ⅵ

    图 6  U-Net结构[14]

    Figure 6.  U-Net architecture[14]

    图 7  1×1卷积特征的拼接

    Figure 7.  Concatenation of features by 1×1 convolution

    图 8  基于低层特征融合的LFF-UNet网络结构

    Figure 8.  LFF-UNet architecture based on low-layer feature fusion

    图 9  本文提出的3种LFFB结构

    Figure 9.  Three types of LFFB structure proposed in our work

    图 10  PMMWI和Ⅵ样本数据集与人工标注图像

    Figure 10.  Dataset and manually annotated image of PMMWI and Ⅵ samples

    图 11  PMMWI中人体轮廓分割DNN模型性能进化曲线

    Figure 11.  Performance evolution curves of human contour segmentation DNN models in PMMWI

    图 12  基于LFF-UNet的PMMWI人体轮廓分割算法

    Figure 12.  Segmentation algorithm of human contour in PMMWI based on LFF-UNet architecture

    图 13  不同DNN模型PMMWI人体轮廓分割对比

    Figure 13.  Comparison of human contour segmentation in PMMWI among different DNN models

    图 14  不同DNN模型分割结果IoU对比

    Figure 14.  Comparison of IoU of segmentation result among different DNN models

    图 15  不同距离下的Ⅵ和PMMWI人体轮廓分割对比

    Figure 15.  Comparison of segmentation of human contours between Ⅵ and PMMWI in different distances

    图 16  PMMWI与Ⅵ人体轮廓尺度变换与滑动适配

    Figure 16.  Scale transform and sliding fit of human contour in PMMWI and Ⅵ

    图 17  PMMWI和Ⅵ匹配过程展示

    Figure 17.  Exhibition of image registration process of PMMWI and Ⅵ

    图 18  基于人体轮廓配准的隐蔽违禁物检测与定位

    Figure 18.  Detection and localization of concealed forbidden object based on human contour registration

    图 19  人体隐蔽违禁物检测与定位结果

    Figure 19.  Results of detection and localization of concealed forbidden objects on human body

    图 20  多帧人体隐蔽违禁物检测结果对比

    Figure 20.  Comparison of multi-frame detection results of concealed forbidden objects on human body

    图 21  基于检测结果对比融合的复合定位

    Figure 21.  Composite localization based on contrasting fusion of detection results

    图 22  算法与模型的综合集成与优化

    Figure 22.  Comprehensive integration and optimization of algorithms and models

    图 23  远距离人体隐蔽违禁物检测

    Figure 23.  Detection of concealed forbidden objectson human body from far distance

    图 24  近距离人体隐蔽违禁物检测

    Figure 24.  Detection of concealed forbidden objectson human body from close distance

    图 25  人体隐蔽违禁物定位误差对比

    Figure 25.  Comparison of localization error of concealed forbidden objects on human body

    图 26  人体隐蔽违禁物定位可视化结果

    Figure 26.  Visualization of localization result for concealed forbidden objects on human body

    图 27  U-Net与LFF3-UNet网络跨越连接层特征图可视化对比

    Figure 27.  Comparison of feature map visualization at skip-connection layer between U-Net and LFF3-UNet

    表  1  人体隐蔽违禁物检测IoU对比

    Table  1.   Comparison of IoU for detection of concealed forbidden objects on human body

    检测方式 a b c d e
    远距离检测 0.642 0.859 0.782 0.490 0.648
    近距离检测 0.786 0.810 0.362 0.584 0.853
    下载: 导出CSV
  • [1] 王任肩, 王宇光, 陈志福, 等.大型活动中的安检排爆工作及技术保障研究[J].警察技术, 2018(5):19-22. doi: 10.3969/j.issn.1009-9875.2018.05.004

    WANG R J, WANG Y G, CHEN Z F, et al.Research on exploder clearing work and technical support in security inspection of large activities[J].Police Technology, 2018(5):19-22(in Chinese). doi: 10.3969/j.issn.1009-9875.2018.05.004
    [2] 费鹏, 方维海, 温鑫, 等.用于人员安检的主动毫米波成像技术现状与展望[J].微波学报, 2015, 31(2):91-96.

    FEI P, FANG W H, WEN X, et al.State of the art and future prospect of the active millimeter wave imaging technique for personnel screening[J].Journal of Microwaves, 2015, 31(2):91-96(in Chinese).
    [3] GROSSMAN E N, MILLER A J.Active millimeter-wave imaging for concealed weapons detection[C]//Proceedings of Conference on Passive Millimeter-Wave Imaging Technology Ⅵ and Radar International Society for Optics and Photonics.Bellingham: SPIE, 2003, 5077: 62-70.
    [4] ANDREWS D A, HARMER S W, BOWRING N J, et al.Active millimeter wave sensor for standoff concealed threat detection[J].IEEE Sensors Journal, 2013, 13(12):4948-4954. doi: 10.1109/JSEN.2013.2273487
    [5] DU K, ZHANG L, CHEN W, et al.Concealed objects detection based on FWT in active millimeter-wave images[C]//Proceedings of 7th International Conference on Electronics and Information Engineering.Bellingham: SPIE, 2017, 10322: 103221O.
    [6] REN S, HE K, GIRSHICK R, et al.Faster R-CNN:Towards real-time object detection with region proposal networks[J].IEEE Transaction on Pattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149. doi: 10.1109/TPAMI.2016.2577031
    [7] 骆尚, 吴晓峰, 杨明辉, 等.基于卷积神经网络的毫米波图像人体隐匿物检测[J].复旦学报(自然科学版), 2018, 57(4):442-452.

    LUO S, WU X F, YANG M H, et al.Convolutional-neural-network-based human concealed object detection for millimeter wave images[J].Journal of Fudan University(Natural Science), 2018, 57(4):442-452(in Chinese).
    [8] SINCLAIR G N, ANDERTON R N, APPLEBY R.Passive millimeter-wave concealed weapon detection[C]//Proceedings of Enabling Technologies for Law Enforcement and Security.Bellingham: SPIE, 2001, 4232: 142-152.
    [9] YEOM S, LEE D, SON J, et al.Real-time outdoor concealed-object detection with passive millimeter wave imaging[J].Optics Express, 2011, 19(3):2530-2536. doi: 10.1364/OE.19.002530
    [10] YEOM S, LEE D, JANG Y, et al.Real-time concealed-object detection and recognition with passive millimeter wave imaging[J].Optics Express, 2012, 20(9):9371-9381. doi: 10.1364/OE.20.009371
    [11] 周健, 叶金晶, 孙谦晨, 等.主动毫米波成像性别识别算法研究[J].红外, 2018, 39(9):34-40. doi: 10.3969/j.issn.1672-8785.2018.09.006

    ZHOU J, YE J J, SUN Q C, et al.Study of a gender identification algorithm for active millimeter-wave imaging[J].Infrared, 2018, 39(9):34-40(in Chinese). doi: 10.3969/j.issn.1672-8785.2018.09.006
    [12] SHELHAMER E, LONG J, DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4):640-651. doi: 10.1109/TPAMI.2016.2572683
    [13] BADRINARAYANAN V, KENDALL A, CIPOLLA R.SegNet:A deep convolutional encoder-decoder architecture for image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12):2481-2495. doi: 10.1109/TPAMI.2016.2644615
    [14] RONNEBERGER O, FISCHER P, BROX T.U-Net: Convolutional networks for biomedical image segmentation[C]//Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin: Springer, 2015: 234-241.
    [15] 桑伟, 岳胜利.毫米波成像技术在人体安全检查领域的应用[J].中国安防, 2013(4):83-87. doi: 10.3969/j.issn.1673-7873.2013.04.018

    SANG W, YUE S L.Application of millimeter wave imaging technology on the area of human body security inspection[J].China Security & Protection, 2013(4):83-87(in Chinese). doi: 10.3969/j.issn.1673-7873.2013.04.018
    [16] IGLOVIKOV V, SHVETS A.TernausNet: U-Net with VGG11 encoder pre-trained on ImageNet for image segmentation[D].(2018-01-17)[2018-12-20].
    [17] LIN M, CHEN Q, YAN S C.Network in network[D].(2014-03-04)[2018-12-20].
    [18] SZEGEDY C, LIU W, JIA Y, et al.Going deeper with convolutions[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE Press, 2015: 1-9.
    [19] SZEGEDY C, VANHOUCKE V, IOFFE S, et al.Rethinking the inception architecture for computer vision[D].(2015-12-11)[2018-12-20].
    [20] HE K M, ZHANG X Y, REN S Q, et al.Deep residual learning for image recognition[D].(2015-12-10)[2018-12-20].
    [21] XIE S, GIRSHICK R, DOLLÁR P, et al.Aggregated residual transformations for deep neural networks[D].(2017-04-11)[2018-12-20].
    [22] KINGMA D P, BA J L.Adam: A method for stochastic optimization[D].(2017-01-30)[2018-12-20].
    [23] ZEILER M D, FERGUS R.Visualizing and understanding convolutional networks[C]//Proceedings of European Conference on Computer Vision.Berlin: Springer, 2014: 818-833.
  • 期刊类型引用(3)

    1. 季佳圆,邓阳,刘天依,何鹏,马率,肖中云. 短舱泄压门几何参数对流动特性的影响. 航空动力学报. 2024(08): 326-333 . 百度学术
    2. 马率,刘钒,季佳圆,邓阳,张露. 短舱泄压门流场对排放特性影响的数值模拟. 航空动力学报. 2023(10): 2338-2348 . 百度学术
    3. 王晨臣,潘俊,王洋洋. 飞机发动机短舱泄压过程研究. 航空科学技术. 2021(04): 29-34 . 百度学术

    其他类型引用(0)

  • 加载中
图(27) / 表(1)
计量
  • 文章访问数:  915
  • HTML全文浏览量:  143
  • PDF下载量:  516
  • 被引次数: 3
出版历程
  • 收稿日期:  2019-01-17
  • 录用日期:  2019-05-28
  • 网络出版日期:  2019-10-20

目录

/

返回文章
返回
常见问答