在实际成像的过程中,由于受到成像装置自身硬件的限制、复杂恶劣的成像环境(如夜晚成像)、拍摄工作者对相机参数的设置等多种因素的影响,造成图像质量下降,视觉效果差,捕获的图像场景许多目标细节部分淹没。由此而产生的对比度畸变图像给后续分析和识别也带来了困难。图像对比度畸变校正主要有2个目的:一是提高图像的视觉质量,使得图像质量更符合人类视觉的感知机制;二是将图像通过优化校正,以便获取更多的图像细节内容。例如,在遥感图像成像中,由于各方面的成像条件(如光照、大气雾霾等)的影响,很难识别出我们感兴趣的目标,如机场、港口、跑道和建筑物等,经过图像对比度畸变校正处理,可以将重要目标以及感兴趣区域细节纹理部分凸显出来。图像对比度畸变校正技术在不同领域应用中都显得至关重要,例如数字摄影、医学图像分析、卫星遥感图像及改善红外成像图像视觉效果等。因此,图像对比度畸变校正是图像处理的一个重要研究内容^[1]。

当前,针对图像对比度畸变问题,常用的处理方法有2大类：空域方法和频域方法。一般空域方法是直接对图像的像素进行处理操作,又可以分为像素点操作法和空间滤波法。基于像素点操作法主要有灰度变换和直方图均衡等方法,它的目的是扩大图像动态范围或者图像的对比度,使其图像直方图尽量均匀分布。基于空域滤波法是使用滤波器来抑制图像的一些特征(如噪声)或者增强图像的一些特征(如边缘),常用的方法有均值滤波、中值滤波以及各种平滑滤波、拉普拉斯锐化算子等。频域方法一般是先将图像进行变换(如快速傅里叶变换、小波变换等),然后在频域空间中进行处理,一般认为图像的平滑区域对应低频部分,图像的边缘区域和噪声对应高频部分,最后再进行反变换来得到处理后图像,常用的方法有低通滤波器和高通滤波器等^[2]。

直方图均衡方法是空域方法最流行的处理方法之一,它是一种简单实用的图像对比度增强方法,在图像处理中得到了广泛应用与研究^[3]。直方图均衡方法虽然简单有效,但在许多工程应用中不一定能够得到理想的结果。为此,众多学者提出了许多改进的直方图均衡方法,例如,双直方图均衡方法^[4]依据图像局部灰度均值将图像划分为2个子图,然后分别对它们进行直方图均衡,最终用来改变图像的平均亮度变化。Wang等^[5]用区域的中值亮度来替代均值亮度,提出等面积二元子图像的直方图均衡方法。针对图像的部分灰度级,尤其是那些少量的表达图像细节的灰度级被过多的合并,从而导致图像部分细节信息被丢失使得局部变得模糊的问题,扈佃海等^[6]提出了一种改进的直方图均衡处理算法。另外,普遍众多的直方图均衡方法统计的是一维灰度直方图,往往没有考虑图像空间邻域之间的相关信息,Turgay和Tarti^[7]考虑图像的上下文信息,提出二维直方图优化模型,大大改善了图像的增强效果。类似,Lee等^[8]利用灰度等级相邻之间的差异信息建立二维直方图来对图像进行增强变换,相对于常规的图像直方图均衡方法有较大的优势。Arici等^[9]提出一种可修改直方图均衡的总体框架,在此框架下,引入图像直方图均匀分布先验约束作为惩罚项,将对比度增强问题转换为一个最小化目标函数的优化问题,实验结果表明了此方法的有效性。Wu^[10]提出了一种图像对比度-色调映射线性规划优化方法,并且可以添加约束条件来进行调控,以达到预期的视觉效果。吴成茂^{[11, 12]}从直方图均衡的数学模型出发,对其进行研究和解释,同时引入一些图像先验知识约束条件,例如信息熵,提出了可调直方图均衡正则化方法。

此外,为了产生相对较理想的效果,所给场景的对比度畸变图像校正参数往往需要依据操作者实际经验来进行多次试验。Hashemi等^[13]提出一种基于遗传算法的图像对比度增强方法,用简单新颖的染色体结构和遗传算子来增强低照度图像的细节和对比度,实验结果表明增强的图像适用于消费电子产品。康杰红和马苗^[14]运用分段线性变换函数,把图像对比度质量函数作为适应度函数,利用蛙跳算法自适应地搜索变换函数的分段区间点,提出一种基于改进蛙跳算法的图像对比度增强算法。文献[15]针对红外图像的增强优化处理问题,运用非完全Beta变换函数,利用多个粒子去寻找全局最优解,提出了一种多粒子群优化算法的红外图像对比度增强,仿真实验结果表明算法具有较好的通用性和推广价值。

本文提出非线性直方图变换与参数优化的对比度畸变图像校正方法,分析直方图均衡方法的局限性,引入直方图先验约束条件和校正参数,结合人眼视觉系统感知特性,采用对数函数变换进一步削弱图像直方图峰值带来的影响,使输出图像直方图平滑,增强图像视觉效果,针对实际应用,综合考虑图像特性测量准则,设计一个合理的适应度函数,运用遗传算法的进化寻优实现校正参数的优化,从而形成了一种高性能的对比度畸变校正算法。

直方图均衡方法思想就是使得变换后图像的直方图尽可能地分布于整个灰度级空间,以达到扩展图像的灰度动态范围的目的。基于图像直方图的对比度处理技术是利用图像灰度直方图获得一个单一索引的映射函数来改变图像的灰度值。假设给定大小为m×n的灰度图像,则直方图均衡方法的灰度级映射表达式为

虽然常规直方图均衡方法计算简单,并且在图像处理中得到广泛的应用,但是在实际的工程应用中,它处理的结果并不是那么的令人满意,甚至会出现比处理前图像的视觉效果更不理想的情况。如图 1所示,图 1(a)表示一辆装甲运兵车在白天日光下野外场景成像的图像。图 1(b)是通过直方图均衡方法对图 1(a)的处理结果,从显示结果来看,图像明显存在着过暗和过亮的现象,图像的细节信息严重丢失,如车轮等。

图 1 直方图均衡效果示例 Fig. 1 Illustration of image histogram equalization

图选项

常规直方图均衡方法存在以下几点不足:

1) 当灰度直方图中存在一个非常大的峰值,即图像中绝大部分像素值集中于某一灰度等级时,这时通过式(1)可以得知,T(i)-T(i-1)=(L-1)p(i),在灰度等级i与其相邻的灰度等级之间,将会有一个非常大的“突变”,这样会导致变换后的图像对比度过度拉伸、图像结构内容不自然等现象。

2) 直方图均衡方法在校正图像的对比度时,尤其是对欠曝光的低对比度图像,很有可能会增强图像噪声成分,从而降低图像质量。

3) 由于常规的直方图均衡没有任何参数,它是一个全自动的算法,因而对比度畸变校正的程度不能够得到很好的控制。

尽管直方图均衡应用广泛,但是一直很少用一些数学理论来阐述其公式的物理意义。吴成茂^{[11, 12]}从数学模型角度出发,揭示直方图均衡的本质,并把它认定为一个经典的不适定数学问题。具体的数学模型可描述为

针对常规直方图均衡方法存在的一些问题,Arici等^[9]提出一种面向均匀分布的直方图优化模型,将输入图像的直方图与图像直方图的均匀分布先验知识两大准则结合起来,建立一个可调控的直方图优化框架。这种方法能够很好地改善图像质量、调节图像对比度畸变校正程度以及抑制噪声。面向均匀分布的直方图优化模型如下:

面向图像均匀分布的直方图优化方法的举例说明如图 2所示,当可调参数β=0.5时,处理结果如图 2(a)所示,相比于图 1(b)直方图均衡方法,过亮或者过暗问题有所缓解,图 2(c)的曲线也能够很好地反映出来。随着β值的减小,均匀分布约束条件的权重越来越大,图 2(c)的曲线也反映输出图像的直方图趋向于均匀分布,同时,图像校正的程度将逐步减弱。图 2(b)为β=0.09时处理的结果,对照图 1(a)的原始图像,几乎没有太多的变化。

图 2 不同参数均匀分布直方图的比较 Fig. 2 Comparison of uniform distribution histogram with different parameters

图选项

从图 2(c)的曲线可以明显看出,尽管面向图像均匀分布的直方图优化方法可以调控输出图像的直方图,削弱直方图峰值的影响,但是得到的直方图不够平滑,相邻灰度等级间存在着很大的跳跃,这是不符合人眼视觉系统的,在复杂的场景条件下,将会导致图像质量下降。因此,需要建立更加合理的直方图变换模型来解决上述问题。

如何建立合理的直方图变换模型,基于以下几点考虑:

1) 在1.2节直方图优化模型的基础上,利用图像直方图的先验知识,考虑人眼对图像主观感知偏好条件,在变换模型中引入控制参数。

2) 在实际工程应用中,某一灰度等级聚集造成图像灰度直方图峰值的情况会经常出现,采用对数函数变换可以进一步削弱直方图峰值的影响,同时可以使输出直方图变得平滑,在文献[16]中,Drago等验证了对数函数可以很好地映射高对比度场景图像。

3) 程光权等^[17]从生理学和心理学方面对视觉系统进行了详细的阐述,表明人眼所感觉到的亮度并不是客观强度的简单函数,而是非线性的对数函数。

综合上述考虑,本文引入对数函数,构建图像直方图变换模型,称其为非线性直方图变换模型,具体变换算式如下:

由式(6)可以得知,h^*近似正比于h_i,使得输出图像的直方图倾向于直方图均衡方法。另一方面,当α较小时,10^-α的值显得较大,则式(5)的近似等价式为

由式(7)可以得知,h^*几乎与h_i无关,使得输出的直方图倾向于均匀分布。

为了更好地阐述上述提出模型的特性,进行了具体的举例说明。如图 3所示。图 3(a)给出了模型如何根据参数的变化来改变输入图像的直方图,显然变换后的直方图能够削弱输入直方图峰值,并且相比于图 2(c),输出的直方图变得较平滑。图 3(b)画出了相应的映射变换函数曲线。当α=8时,图 3(b)显示映射变换函数的曲线与直方图均衡方法的曲线非常接近。尤其是方法在处理输入图像140~255灰度空间的像素时,映射输出的像素值仅为255,导致图像的细节信息丢失。随着α值的逐步变小,图 3(a)显示削弱输入直方图峰值的能力越来越强,输出的直方图也渐渐的趋向于均匀分布。当α=2时,所提出的模型能够较好地扩大对比度范围,能够较好地提升输入图像0~140灰度空间的像素,并且在140~255灰度空间可以较好地保持图像细节。因此,可以调控参数α来校正图像对比度畸变,得到人眼视觉感到比较理想的图像。

图 3 图像非线性直方图变换关系示例 Fig. 3Illustration of nonlinear transform relationship of image histogram

图选项

在非线性直方图变换的对比度畸变校正模型中,仅有一个重要调控参数α,它的变化决定着变换后图像质量的好坏。通常根据操作者的实际经验来进行手动调节,而这种人工选取的参数方式不但费时费力,而且并不一定能够得到理想的结果。因此,为了不需要人为干预并没有增加额外的外部参数,模型运用遗传算法(Genetic Algorithms,GAs)自适应寻找对比度畸变校正的最优参数。

遗传算法是一种借鉴自然生物进化机制的智能优化算法,其具有强大的隐并行、全局搜索能力,在组合优化、工程控制和模式识别等领域得到了广泛的应用^[18]。非线性直方图变换模型的参数通过遗传优化算法的选择、交叉、变异操作逐步迭代产生最优的解,从而自适应地完成对比度畸变图像校正。

个体的选择是在适应度值的基础上来完成的,选择的概率与适应度值是密切相关的,一般正比或者反比于适应度值。在这个过程中,更合适的个体就有更大的生存概率到下一代,而那些较弱小的个体会有一个小概率来选择。因此,适应度函数的设计是十分关键的,它是进行自然选择的依据,评价个体好坏的标准,决定着最优解搜索方向。而在图像对比度畸变校正处理中,校正增强之后图像的评估主要依靠图像质量评价标准。因此,一个合理的图像对比度畸变校正适应度函数主要依靠一些度量准则,它应当可以反映人眼视觉系统对图像的感知质量和接收程度。

对于图像对比度畸变校正的度量准则可以从以下几点考虑:

1) 基于图像梯度信息的测量。图像梯度法在图像增强中是较为普遍的处理方式,相比于原始图像,对比度校正后的图像应当具有高强度的图像边缘。图像的梯度计算式如下:

2) 基于图像信息的测量。由于图像在通过对比度畸变校正后,图像的细节信息将会增加,而单方面地考虑边缘的数量和强度还不足以有效地描述图像对比度好坏,例如,对于一个二值图像,只存在着大量数量的黑和白之间的急剧跳跃。图像信息熵计算公式如下:

3) 基于图像对比度的测量。图像质量关乎到图像最终面向的对象,即人的感知。因此,考虑人眼视觉系统特性,依据文献[19]的图像对比度测量法则,衡量灰度图像对比度变化情况。具体算式如下:

基于以上几点的考虑,综合自然图像本身特征和人眼视觉系统特性来衡量图像质量,设计一个有效的适应度函数,即

算法1 非线性直方图变换参数的遗传算法优化

输入:待处理对比度畸变图像I。

输出:校正后图像C。

初始化:设定个体数目、最大遗传代数N、待优化参数范围、交叉概率和变异概率。确定编码方式,随机生成初始染色体,创建初始种群。校正参数的迭代优化:

for Iter=1,2,…,N do

1) 针对种群中每个染色体,根据式(5),计算出直方图以及对应的图像;

2) 根据式(11)分配适应度权重值;

3) 通过选择算子、交叉算子和变异算子产生相应的后代;

4) 用新产生的子代替代当前种群中的父代染色体,得到新的种群。同时,记录每代的最优变量以及序号。

end

后计算:从记录的每代最优变量集合中取得最优解,进行映射校正。

为了验证算法的性能和有效性,本文所提出的算法与常规直方图均衡方法、文献[9]提出的改进直方图均衡方法、文献[7]提出的上下文变分对比度(CVC)方法以及采用文献[14]中运用的适应度函数进行比较分析。首先,从对比度校正程度、图像结构信息保真度等方面进行视觉效果对比,通过人眼视觉主观上对结果进行对比分析。其次,为了进一步说明所提方法在性能上的优越性,同时为了互补主观评价,衡量那些人眼观察不出来的图像细微差异,采用盲图像质量评价方法(BRISQUE)^[20]和GM_LOG^[21]来对图像结果进行定量评估。

针对上述校正实验的内容与目的,本文采用一些实拍的对比度畸变图像作为实验的处理对象。图 4(a)是待处理图像,其中上面的图像为在模拟星空以及光照条件下,实拍的月球车模型,场景背景简单,黑色的星空背景在图像中占据主导地位。下面的图像是在欠曝光条件下实拍的室内场景图像,场景相对较复杂,图像还受到环境噪声的影响。2幅图像都存在对比度畸变降质问题,因此,需要对图像进行对比度畸变校正。

图 4 不同对比度校正方法实验结果的比较 Fig. 4 Comparison of experimental results of various contrast correction methods

图选项

图 4(b)是常规直方图均衡方法处理的结果,校正后的图像都出现了过亮现象,这一点在图 5和图 6的映射变换函数曲线中也体现出来。月球车图像整个背景都没有得到较好的抑制,月球车的细节信息丢失,例如月球车的天线。室内场景图像还出现了明显的颗粒噪声。

图 4(c)和图 4(d)结果相比于常规直方图均衡方法,视觉效果上有一些改进,但是与图 4(f)结果比较发现,本文提出的算法具有更大的优势,校正后的图像对比度更强,图像纹理和边缘更凸显,场景背景以及噪声能够得到较好的抑制,总体视觉效果更好。

图 4(e)是采用文献[14]中的适应度函数进行处理的结果,总体视觉效果出现过亮的现象,图 5和图 6显示的映射变换曲线接近于常规直方图均衡曲线表明,设计一个合理的适应度函数在校正参数优化过程中是相当关键的。

图 5 月球车图像映射变换函数曲线 Fig. 5 Mapping transformation functions curves of lunar rover image

图选项

图 6 室内场景图像映射变换函数曲线 Fig. 6 Mapping transformation functions curves of indoor scene image

图选项

月球车和室内场景图像的客观测评指标的比较结果分别见表 1和表 2,其中,BRISQUE指标值越小,表示图像质量越好；GM_LOG指标值越大,表示图像质量越好。根据表 1和表 2中的各项指标可看出,所提出的方法相比与其他方法,都有显著的提高,图像质量改善较显著。其中,BRISQUE指标平均提高19%,GM_LOG指标平均提高8.4%。

因此,本文所提的方法比较其他方法,无论在主观视觉效果上,还是客观指标定量测算方面,都具有明显的优势。

针对图像对比度畸变降质的实际工程问题,研究和分析当前对比度畸变校正方法的不足,改进直方图均衡方法,提出非线性直方图变换模型。在实际应用中,对比度畸变校正程度通常是根据操作者的人工经验来进行手动调节参数,进而,利用遗传算法自适应寻找对比度畸变校正模型的最优参数。实验结果表明,本文方法能够很好地改善图像视觉效果,提高图像质量,适合于对比度畸变降质图像校正的工程背景与技术需求。