视频监控在公共安全、刑侦破案、灾难救援中具有重要的作用，尤其在公安视频监控中对行人目标的准确检测更为重要，从而保障了公安办案人员事前预警、事中干预、事后留证^[1-3]。然而，在实际现实世界中，由于夜间低照度光照、雾霾、阴雨天气等的影响，使得充足光照的时间不到全年总时间的二分之一。夜间低照度光照、雾霾、阴雨天气等光照条件，严重影响基于可见光的视频监控环境中行人目标检测的准确性，并且影响后续视频智能化分析处理。因此，研究基于夜间低照度下的行人目标的准确检测，并保障视频监控的全天时准确检测，是公安视频监控中重要的应用^[4-9]。在低照度下行人目标的运动前景区域准确提取是行人目标准确检测的基础。为此，本文重点研究了低照度下基于热红外成像来实现行人目标前景区域的准确提取。

热红外传感器成像是根据任何物体表面的温度超过绝对零度(-273.15℃)时会辐射出不同的红外线电磁信息。这些红外线电磁信息载有物体的特征信息，因此可用于判别不同目标物的热分布场及温度的高低。利用红外光电技术，热成像摄像机通过测量目标与背景或目标各部分之间的辐射差异，将物体辐射的功率信号转换成电信号，经过放大处理形成视频图像，也即是利用热成像摄像机的作用，将物体发出的不可见红外能量转变为人眼可识别的热图像^[9-10]。由于热图像是基于热辐射成像，也即红外是基于物体表面的温度来成像的，因此不会受到低照度光照、阴雨天气、雾霾、大雪、大风等光照条件的影响。例如，正常情况下，人体的温度要比周边环境的温度要高，在热图像成像上人体目标就会以高亮成像；但在夏天，环境温度较高的情况下，人体温度低于周围环境温度，人体目标的成像会不明显，甚至以暗色成像，因此在这种情况下，就会产生图像像素值反转的问题，这为行人目标的检测带来困难。同时，热红外成像技术还受到夜间的路灯、汽车的车灯、楼宇中长明灯的光亮影响，导致行人目标检测的精度降低、误检率或虚警率高，影响后续的智能化分析水平^[11]。

现有主流的基于热红外下行人目标前景区域的提取方法有以下3类。第1类方法主要使用热图像的底层视觉特征，例如目标的纹理、边缘等特征，但这类方法中的热红外图像没有颜色信息，导致不能够有效地检测到行人目标的纹理特征和颜色特征^[12]。第2类方法主要利用视频序列中的时域信息来获取运动区域，主要有帧差法^[13]、背景减法^[14]和光流法^[15]。帧差法基于图像序列中相邻帧差分来获得运动区域，该类方法对于动态环境有一定的适应性，但在目标运动过慢时，容易产生较大的“空洞”。背景减法是将当前图像与背景图像进行差分以获得运动区域，该类方法能获得比较完整的运动区域，但在实际应用中难以有效地建立准确的背景模型。光流法是基于视频序列中运动目标随时间变化的光流场特性，但该方法计算复杂，容易受噪声影响，不利于实时处理。第3类方法主要利用视频序列中运动目标的时域运动信息在热红外图像中生成若干疑似包含人体目标的感兴趣区域，后续对感兴趣区域提取特征并使用分类器，来验证是否为行人目标，进而来排除误检目标^[16]。这3类方法尽管在一些特定场景和特定应用上具有较好的检测精度，但对其他场景和环境，尤其是在热红外视频监控中出现灰度值反转的情况下，其适应性与鲁棒性仍有待提升。因此，在热红外视频监控中出现灰度值反转的情况下，对行人目标的前景区域的准确检测具有重要意义。

针对上述问题，本文提出了一种基于行人目标的边界特征和运动特征来提取行人目标前景区域的方法。所提方法建立了有效结合行人目标本身的底层特征和中高层特征的机制，克服了环境中的温度变化所带来的灰度值反转，因此对各类环境的变化有一定鲁棒性。

1.   相关工作

近年来，针对热红外图像中行人目标前景区域的提取，研究学者们提出了诸多算法框架与解决方案。一些研究利用图像的视觉底层信息(例如轮廓和纹理信息)来实现行人目标的前景区域的准确提取。Shaik和Iftekharuddin^[17]提出了基于频域相关性和贝叶斯概率技术来实现目标的检测和跟踪，所提出的算法适合于静态或运动目标的实时检测和跟踪，同时在一定程度上能够去除杂波和背景噪声所带来的背景干扰。Davis和Sharma^[18]提出了一种基于轮廓的背景检测技术来检测变化很大的热图像中的行人目标，该技术首先利用背景减法识别局部感兴趣区域，其次在每个感兴趣的区域内，将前景和背景中的信息组合起来以形成轮廓显著图，并利用分水岭边界的路径约束搜索用于完成任何破碎的轮廓线段连接，最后填充轮廓图像以产生完整轮廓。Sadjadi^[19]提出了基于小波多分辨率纹理的算法，该算法使用图像的小波分解子带的概率密度函数。这些概率密度函数在聚类算法中用于从背景杂波中分割目标。该算法估计了一组多维预测分析性能模型，这些模型涉及算法内部参数、目标像素数、目标背景干扰比、目标干扰比和局部熵度量。这些模型可用于在没有可用数据的情况下预测区域的性能，并在具有已知场景和度量条件的区域中通过选择最佳参数和恒定的虚警值来优化性能。

同时，为了进一步提升红外视频监控中行人目标前景区域的提取精度，许多研究者利用了行人目标的运动特征。Lei和Geng^[20]提出了一种将三帧差分法与背景差分法相融合的红外人体运动目标检测方法，并采用混合高斯模型进行背景建模，结果表明，该方法在运动目标检测中比单独使用三帧差分法和背景差分法更好。付裕等^[21]提出了一种基于高斯模型的运动目标检测方法, 该方法利用基本的预处理技术对红外图像做了预处理，随后引入高斯模型，建立背景图像的自适应模型，仿真结果表明，该方法可以准确地检测红外监控图像中的人体运动目标，较好地避免了人体运动速度过快或过慢所产生的拖尾或空洞现象。Viola等^[22]提出了一种将图像强度信息与运动信息集成在一起的行人目标检测系统，其中使用了一种检测样式算法，该算法在视频序列的两个连续帧上扫描检测器，并使用AdaBoost对检测器进行训练，该方法可以以非常小的比例检测出行人，并且误检率非常低。Javed等^[23]提出了一种背景减除方法，该方法包括3个不同的级别：像素级别、区域级别和帧级别，并且使用了多个线索以在背景干扰的条件下鲁棒地检测出目标，该方法能够解决实际应用中的一些常见问题，例如快速照明改变、静态背景目标的重新定位以及场景中存在运动目标的背景模型的初始化等。

因此，利用热红外图像的底层视觉特征和运动特征能够在一定程度上解决行人目标前景区域提取的问题，但当热红外图像出现灰度值反转时，上述方法不能够有效地解决该类问题。

2.   本文方法

针对在实际热红外视频监控中，由于热红外成像受环境温度的影响，可能会出现图像灰度值反转的问题。然而，不论是行人温度高于周围环境温度，还是周围环境温度高于行人温度，行人目标和背景之间总会存在明显的目标边界。基于此，本文提出了一种在热红外视频监控下提取行人目标前景区域的方法，该方法基于热红外图像行人目标的边界特征提取并融合行人目标的运动特征，包括以下步骤：

步骤1   利用图像梯度来提取当前帧图像的边界信息，并对边界信息进行区域填充，将边界特征提取的前景区域位置映射到原始图像中的对应位置，并利用热红外行人目标分类器模型进行误检排除，从而获得最终的边界特征提取结果。

步骤2   利用帧差法来获取相邻帧图像的运动特征，对运动特征进行形态学处理，将运动特征获取的前景区域位置映射到原始图像中的对应位置，并利用热红外行人目标分类器模型进行误检排除，从而获得最终的运动特征提取结果。

步骤3  对所获得的边界特征提取最终结果和运动特征提取最终结果进行融合以获取行人目标前景区域结果。

其中，热红外行人目标分类器模型是在LSI热红外行人目标分类数据集^[24]上使用文献[24]中的SVM线性模型进行训练得到的，在训练时所使用的行人正负样本比例是1:4。本文方法总体流程如图 1所示。

图  1  行人目标前景区域提取的方法流程

Figure  1.  Method flow for extraction of pedestrian object foreground area

下载: 全尺寸图片 幻灯片

2.1   边界特征提取

基于目标与背景之间的显著性差异来进行边界特征提取。Zhang等^[25]利用运动目标光流场和背景光流场之间的差异来提取运动目标的边界。Liu和Xue^[26]首先通过自适应边界特征提取算法来获取可见光视频序列中的目标边界，然后利用三帧差分法的检测结果进行边界补充，并进行形态学处理获得运动目标。

图像梯度是指相邻2个像素在水平方向或者垂直方向上的差值。在本文中，对图像梯度分别在水平方向和垂直方向上进行绝对值运算，以提取行人目标和背景之间的边界信息。相关计算见式(1)~式(3)。

式中：gradient(I)为热红外图像I的梯度；dx(i, j)和dy(i, j)分别为图像在位置(i, j)处在水平方向和垂直方向的梯度绝对值；I(i, j)为当前图像在(i, j)位置处的像素值。

为了去除部分干扰噪声，降低目标检测的误检率，将所获取的图像在水平方向的绝对值梯度和在垂直方向的绝对值梯度进行阈值处理，并将经阈值处理后的水平方向梯度绝对值和垂直方向梯度绝对值进行算术叠加，从而得到目标的边界信息。将所获得的目标的边界信息进行区域填充而得到边界前景特征提取结果，将边界特征提取获取的前景区域映射到原始图像中的对应位置，并利用行人目标分类器模型来进一步排除边界特征提取中可能出现的误检目标，从而获得最终的边界特征提取结果。将水平方向的梯度绝对值和垂直方向的梯度绝对值进行叠加得到的边界信息为

式中：I_boundary(i, j)为图像在位置(i, j)处的边界信息；dx_th(i, j)和dy_th(i, j)分别为在图像位置(i, j)处经过阈值处理的水平方向和垂直方向的梯度信息。边界特征提取及行人目标分类器模型在边界特征提取过程中的各阶段结果如图 2所示。

图  2  边界特征提取的结果

Figure  2.  Results of boundary feature extraction

下载: 全尺寸图片 幻灯片

图 2(a)是输入的原始热红外图像；图 2(b)是通过对图 2(a)在水平方向和垂直方向上分别经过绝对值梯度运算、阈值处理和叠加而获得；图 2(c)是通过对图 2(b)进行区域填充并经过行人目标分类器模型排除误检而得到的最终结果。

2.2   运动特征提取

帧差法是一种利用连续的2帧热红外图像的差值来判断背景像素和运动像素的检测方法。Wirayuda等^[27]提出了一种通过在每个像素中使用运动方差来创建自适应阈值来进行运动特征提取的方法。

本文使用帧差法来获取目标的运动特征。对连续帧之间的差异，通常需要进行阈值处理以检测是否发生了运动。为了判断视频序列中的运动像素和背景像素，首先使用式(5)来计算2帧热红外图像的差值绝对值：

式中：I_t(x, y)和I_t-1(x, y)分别为当前帧和上一帧的热红外图像在(x, y)位置处的像素值；diff_t(x, y)为2帧热红外图像的差值绝对值。

其次，基于式(5)的帧差结果，设定阈值T来判断背景像素或运动像素，具体如下:

式中：diff_res(x, y)为帧差结果经过阈值判断之后的结果，其值为1表示运动点，其值为0表示背景点。

对经阈值判断的结果进行形态学处理以获取运动特征提取结果。将运动特征提取结果中的行人前景区域映射到原始图像中的对应位置，并使用行人目标分类器模型来排除运动目标检测中可能出现的误检目标，从而获取最终的运动特征提取结果。运动特征提取结果如图 3所示。

图  3  运动特征提取的结果

Figure  3.  Results of motion feature extraction

下载: 全尺寸图片 幻灯片

图 3(a)和图 3(b)是视频序列中相邻2帧热红外图像数据；图 3(c)是经帧差处理的结果，白色区域表示运动目标，黑色区域是背景；图 3(d)为经形态学处理及行人目标分类器模型排除误检后的最终结果。

3.   实验结果与分析

3.1   数据集

本文采用OSU热红外行人目标检测数据集^[28]和LSI热红外行人目标检测数据集^[24]来检验所提方法。在OSU热红外行人目标检测数据集的采集中，使用安装有75 mm镜头的雷神300D热传感器来获得不同天气条件下(包括晴天、阴雨天)总计284幅热红外图像，包括10个固定监控视角下的热红外图像序列。LSI热红外行人数据集^[24]是使用驾驶的车辆在室外城市场景中采集的，其中使用Indigo Omega成像仪获取图像。它分为行人目标分类数据集和行人目标检测数据集，其中行人目标分类数据集分为训练集和测试集，图像分辨率均为64像素×32像素，宽高比均为1/2，训练集包含10 208个行人正样本和43 390个行人负样本，而测试集包含5 944个行人正样本值和22 050个行人负样本。本文的行人目标分类器模型使用LSI热红外行人分类数据集的训练集进行训练。LSI热红外行人目标检测数据集是在13个不同的场景中获取的，每个场景中包含不同数量的图像。它总共包括15 224个14位单通道图像，图像分辨率为164像素×129像素。该行人目标检测数据集中的训练集包含6 159张图像，测试集包含9 065张图像。本文使用上述2个热红外行人目标检测数据集序列中具有运动信息的相邻帧来评估所提方法的有效性。

3.2   评价指标

本文使用如式(7)~式(10)所示的精确度(Pr)、召回率(Re)、误检率(FPR)和F-度量函数(F-measure)指标来评估检测方法的性能^[29-30]。

式中：精确度Pr为真目标像素量相对于所有目标像素量的比率；TP为真目标的像素量；FP为误检的像素量。

式中：召回率Re为检测到的真目标像素量相对于所有的真目标像素量的比率；FN为漏检的像素量。

式中：误检率FPR为提取的假目标像素量相对于假目标像素量和背景像素量总和的比率；TN为背景像素的像素量。

式中：F-measure度量函数为精确度和召回率的加权平均值。

TP、FP、TN和FN是使用二值掩码和Ground-Truth计算得出的。

3.3   结果与分析

在OSU热红外行人目标检测数据集^[28]中，序列3存在明显的图像灰度值反转问题，序列8和序列9的图像灰度值反转不明显。所有图像的分辨率为360像素×240像素，选择其中51组具有运动信息的图像序列来验证所提方法的有效性。LSI热红外行人目标检测数据集总共有13个视频序列，其中6个序列是在摄像机静止下拍摄的，其余是在摄像机移动下拍摄的视频序列，选择在摄像机静止下拍摄的6个序列来验证所提方法的有效性。

3.3.1   OSU热红外行人目标检测数据集的实验结果

在OSU热红外行人目标检测数据集^[28]上，将本文方法与显著性检测方法^[31]和帧差法^[13]在视觉效果和性能指标两方面分别进行了比较。所得实验结果如图 4所示，其中在图 4(a)和图 4(c)中，人体温度高于周围环境温度，因此不存在灰度值反转的问题，而在图 4(b)中，周围环境温度高于人体温度，存在热红外图像灰度值反转；此外，在图 4(d)中，人体温度和周围环境温度相近，使得路灯存在明显的干扰。

图  4  OSU热红外行人目标检测数据集实验效果

Figure  4.  Experimental results on OSU thermal infrared pedestrian objects detection dataset

下载: 全尺寸图片 幻灯片

在图 4中，第1行是原始图像，第2行是热红外图像所对应的GroundTruth，第3行是显著性检测方法^[31]所得的实验结果，第4行是帧差法^[13]所得的实验结果，第5行是本文方法的实验结果。从视觉效果上看，相比于显著性检测方法和帧差法，本文方法能够更准确地检测行人目标前景区域，尤其是对于存在灰度值反转的情况，如图 4(b)所示。此外，本文方法还能够降低由其他不具有运动特征的路灯或不具有完整目标边界的汽车灯等所带来的噪声，如图 4(c)和4(d)所示。显著性检测方法利用了图像的颜色信息，然而热红外图像缺少颜色信息，导致检测精度低。帧差法会产生许多噪声，并存在明显的误检和漏检情况。本文方法主要利用了受图像灰度值影响较小的边界特征和运动特征，同时，使用热红外图像中的行人目标分类器模型进行误检排除，最后通过融合边界特征提取的最终结果和运动特征提取的最终结果来实现OSU热红外监控中行人目标前景区域的准确提取。

下面从性能上分析本文方法的有效性。性能评价指标主要是依据文献[29-30]针对前景区域提取所提供的精确度、召回率、误检率和F-度量函数评价指标。性能评价结果如表 1所示。

表  1  OSU热红外行人目标检测数据集性能评价指标

Table  1.  Performance evaluation indexes of OSU thermal infrared pedestrian objects detection dataset

方法	精确度	召回率	误检率	F-度量函数
显著性检测方法[31]	0.554	0.612	0.157	0.582
帧差法[13]	0.826	0.852	0.064	0.839
本文方法	0.923	0.941	0.043	0.932

下载: 导出CSV 

| 显示表格

从表 1可以看出，在OSU热红外行人目标检测数据集上，相比于显著性检测方法^[31]和帧差法^[13]，本文方法具有更高的精确度、召回率和F-度量函数，和更低的误检率。因此，本文方法利用边界特征和运动特征的融合能够有效解决热红外图像中由灰度值反转所带来的检测精度低的问题，同时能够排除由于实际监控中路灯和汽车灯等其他光源所引起的误检问题。因此，本文方法能够有效地在热红外视频监控下提取行人目标前景区域。

3.3.2   LSI热红外行人目标检测数据集的实验结果

在LSI热红外行人目标检测数据集^[24]，将本文方法与显著性检测方法^[31]和帧差法^[13]在视觉效果和性能指标两方面分别进行了比较。所得实验结果如图 5所示，其中在图 5(a)和图 5(c)中，人体温度高于周围环境温度，因此不存在灰度值反转的问题，而在图 5(b)和图 5(d)中，周围环境温度和人体温度相近，使得图像灰度值发生反转，并且图像序列中背景相似对行人目标的前景区域的检测产生干扰，不利于区分行人目标的前景和背景。

图  5  LSI热红外行人目标检测数据集实验效果

Figure  5.  Experimental results on LSI thermal infrared pedestrian objects detection dataset

下载: 全尺寸图片 幻灯片

在图 5中，第1行是原始图像，第2行是热红外图像所对应的GroundTruth，第3行是显著性检测方法^[31]所得的实验结果，第4行是帧差法^[13]所得的实验结果，第5行是本文方法的实验结果。从视觉效果上看，相比于显著性检测方法和帧差法，本文方法能够更准确地检测行人目标前景区域，尤其是对于存在灰度值反转的情况，如图 5(b)和图 5 (d)所示。此外，本文方法还能够降低由其他不具有运动特征的建筑物和路灯等所带来的噪声，如图 5 (a)和图 5 (c)所示。本文方法主要利用了受图像灰度值影响较小的边界特征和运动特征，同时，使用热红外图像中的行人目标分类器模型进行误检排除，最后通过融合边界特征提取的最终结果和运动特征提取的最终结果来实现LSI热红外监控中行人目标前景区域的准确提取。

下面从性能上分析本文方法的有效性。性能评价结果如表 2所示。

表  2  LSI热红外行人目标检测数据集性能评价指标

Table  2.  Performance evaluation indexes of LSI thermal infrared pedestrian objects detection dataset

方法	精确度	召回率	误检率	F-度量函数
显著性检测方法[31]	0.601	0.653	0.124	0.625
帧差法[13]	0.742	0.726	0.087	0.734
本文方法	0.895	0.917	0.059	0.906

下载: 导出CSV 

| 显示表格

从表 2可以看出，在LSI热红外行人目标检测数据集上，相比于显著性检测方法^[31]和帧差法^[13]，本文方法具有更高的精确度、召回率和F-度量函数，和更低的误检率。因此，本文方法利用边界特征和运动特征的融合能够有效解决热红外图像中由灰度值反转所带来的检测精度低的问题，从而有效提取在热红外视频监控下行人目标前景区域。

4.   结论

本文提出了一种提取行人目标前景区域的方法，并在公开数据集上对所提方法进行了实验验证。实验结果表明：

1) 所提方法能够有效降低外界环境温度改变对热红外图像灰度值的不利影响。

2) 所提方法能够有效地降低行人目标前景区域提取的误检率。