Download PDF  
文章快速检索  
  高级检索
引用本文
李春龙, 潘海侠, 王华峰. 自适应立方卷积图像插值算法[J]. 北京航空航天大学学报, 2014, 40(10): 1463-1468
Li Chunlong, Pan Haixia, Wang Huafeng. Adaptive cubic convolution based image interpolation approach[J]. Journal of Beijing University of Aeronautics and Astronsutics, 2014, 40(10): 1463-1468.
自适应立方卷积图像插值算法
李春龙, 潘海侠, 王华峰    
北京航空航天大学 软件学院, 北京 100191
收稿日期:2013-10-30; 网络出版日期: 2014-04-03
基金项目：.
作者简介: 李春龙(1988-),男,山西吕梁人,硕士生,lcl426@gmail.com.
摘要：图像插值是图像处理的一项重要技术,可适用于多个领域,近年来多使用该技术进行图像缩放.针对传统图像缩放算法边缘处理效果较差、边缘检测插值算法复杂度高的问题,提出一种有效增强边缘轮廓的自适应立方卷积插值算法.该算法结合边缘梯度变化和立方卷积插值的特点,使得图像在平坦和纹理区域均能取得理想效果.实验结果表明,与基于边缘检测的插值算法相比,该算法具有较低的复杂度,平均运算时间降低了3.19 s;与立方卷积算法相比,图像峰值信噪比有较大的提高,峰值信噪比增加了0.89 dB.
关键词： 图像插值     边缘检测     立方卷积     梯度     峰值信噪比    
Adaptive cubic convolution based image interpolation approach
Li Chunlong, Pan Haixia, Wang Huafeng     
School of Software, Beijing University of Aeronautics and Astronautics, Beijing 100191, China
Abstract:Image interpolation is an important technique of image processing, which can be used in many image process areas. In recent years, it is often used to zoom in or zoom out images. A novel effective image interpolation mechanism to enhance the enlarged image edges was proposed for the visual artifacts problem in traditional magnification algorithms and the high computational cost in some adaptive image interpolation algorithms. The proposed algorithm combines the edge-directed gradient with the cubic convolution interpolation algorithm to obtain the higher quality of an image both in the edges and smooth areas. The result shows that the proposed algorithm gets a better visual effect and effectively removes the jaggy and blur at the edge. The proposed algorithm is less complex with running time reduced by 3.19 s on average, compared with the edge-adaptive interpolation algorithm, and has higher quality with the peak signal-to-noise ratio (PSNR) raised by 0.89 dB on average, compared with the cubic algorithm.
Key words: image interpolation     edge direction     cubic convolution     gradient     peak signal-to-noise ratio (PSNR)    

近年来随着硬件的快速发展,多处理器设备已普及化,且很多设备支持GPU.因此图像数值计算不再是瓶颈问题,用户开始转变为追求高分辨率图像和高清视频.与低分辨率图像相比,高分辨率图像能提供更丰富的细节信息.目前,大量现存的图像获取设备只能获取低分辨率图像,不能满足人们的需要.更换设备耗费巨大,不易实现,且分辨率也不能无限制提高.一种有效的方式是利用图像插值获取高分辨率图像.传统插值算法[1,2]的主要缺陷是不能很好地保持图像边缘,插值后的图像会产生边缘模糊和锯齿.

为了解决插值后图像边缘模糊或锯齿等缺陷,研究人员提出了多种边缘插值算法.Li等人提出一种基于协方差的边缘导向插值算法[3],从低分辨率图像中估计局部协方差系数,根据高、低分辨率图像局部协方差之间的几何对偶关系实现高分辨率插值.Zhang等人在Li等人的基础上进行改进,提出软判决的插值算法[4],通过增加局部窗口内像素点之间的约束条件来得到更精确的插值效果.Cvetkovic等人提出一种在小波域中对图像高频分量进行估计的插值算法[5],虽然这些算法[3,4,5,6,7]都能得到较满意的效果,但运算复杂度较高且占用内存空间较大.为了使算法得到进一步提高,孙毓敏提出结合数据融合技术的插值算法[8],每个待插值点均融合2个方向上估计值.该算法的插值效果优于双线性算法,但其只能进行2的整数倍的插值.针对传统图像缩放算法边缘处理效果较差,边缘插值算法复杂度较高的问题,本文提出了一种有效增强边缘的自适应立方卷积插值算法. 1 立方卷积算法简介

最邻近插值算法利用待插值点距离最近的像素进行插值,算法简单、运算量小,但没有考虑其他邻域像素的影响.双线性插值算法在水平和垂直方向上进行两次线性插值,与最邻近插值相比,双线性插值考虑了邻域4个点的影响.立方卷积插值算法利用待插值点邻域4个方向上的16个像素点进行插值.该算法不仅考虑到4个直接相邻像素点的影响,而且考虑到各方向像素变化率的影响.插值算法可用公式[9]表示为

其中,h(x-xi)为插值基函数;Ci为第i个原函数的值.

不同的插值算法只是基函数及选取的插值点个数n不同.大多数三次插值均采用Keys[2]提出的三次插值基函数.

如图 1所示x-1,x0,x1,x2为等间隔的已知像素点,x为待插值点,设h=x1-x0.

则待插值点的表达式为

Keys[2]的三次插值基函数表达式为

图 1 待插值点示意图 Fig. 1 Diagram of integration point
图选项

三次运算可以得到更接近高分辨率图像的放大效果,但其没有考虑图像的局部特性.为此,本文提出一种基于边缘检测的自适应立方卷积插值算法:

式中,f1(x)为水平方向或45°对角线方向的立方卷积结果;b为权值,在2.2节中将给出权值的计算公式;f2(x)为垂直方向或135°对角线方向的立方卷积结果. 2 自适应立方卷积算法描述

传统插值算法的本质是利用直接邻接点的像素值,或邻接点间像素变化率进行插值.而本文算法首先检测像素点局部特征,根据阈值分为边缘点和非边缘点,然后对两类像素点采用不同的插值策略.具体流程如图 2所示.

图 2 本文图像插值流程图 Fig. 2 Flowchart of proposed algorithm
图选项

在图 2所示的第1步中,选择局部7×7窗口分别沿水平、垂直和两个对角线方向计算像素间差值,与阈值比较.若像素点间差值比预置阈值小,则待插值点归类为非边缘像素点,直接使用立方卷积进行插值;反之,如果像素点间差值比预置阈值大,则待插值点归类为边缘像素点,该类像素点使用本文算法进行插值.

设原图像为IL,大小为M×N,将其放大k倍,放大后图像记为IH,大小为kM×kN.为方便研究,取k=2.

如图 3a所示,黑色圆点为原图像像素点,白色圆点、方块点和灰色圆点为放大图像新增像素点,本文插值分两步实现,首先对白色方块点进行插值,插值结果如图 3b所示,然后利用第1步结果对白色圆点和灰色圆点进行插值.

图 3 插值示意图 Fig. 3 Diagrams of integration
图选项
2.1 边缘检测

为了完成插值,首先进行边缘检测,通常根据梯度变化进行边缘检测.对于模拟图像,其边缘方向是任意的,但对于数字图像,在某一像素的邻域内只有4个边缘方向[9,10,11],即水平、垂直、45°对角线和135°对角线.

首先以白色方块点为中心点计算梯度,在邻域内4个对角为已知像素点,分别计算45°和135°对角线方向的梯度.如图 4所示,在邻域进行梯度计算,则45°对角线梯度计算公式为

135°对角线方向梯度计算公式为

然后以圆点为中心计算梯度,此时方块点为已知,如图 5所示,待插值点相邻4像素点为已知点,即水平相邻点和垂直相邻点,且分两种情况;一种情况如图 5a水平方向为低分辨率图像实际像素点,垂直方向为第1次已完成插值的点;另一种情况如图 5b垂直方向为低分辨率实际像素点,水平方向为第1次已完成插值点.

图 4 对角线梯度示意图 Fig. 4 Diagram of diagonal gradient
图选项
图 5 水平与垂直梯度示意图 Fig. 5 Diagrams of horizontal and vertical gradient
图选项

选取5×5邻域进行梯度计算,中心像素点I(x,y)的水平梯度计算公式为

垂直方向梯度计算公式为

此时,两个正交方向的梯度G1和G2为已知,因此可根据两个梯度的比值(式(10))来确定像素点I(x,y)的强边缘方向.

为防止分母为0,对分子、分母作加1处理,阈值T的选取将在第2.3节进行讨论. 2.2 像素计算

本节讨论如何计算待插值点的像素值.在强边缘方向上缺失的像素点I(x,y)将根据立方卷积算法完成插值.对于弱边缘方向或纹理区域将根据两个正交方向所计算像素加权估计[12,13].待插值点像素对两正交方向所得像素的相似度与梯度成反比.假设待插值点I(x,y)的两正交方向所得像素分别为p1(45°对角线方向或水平方向)和p2(135°对角线方向或垂直方向),则p1和p2相结合的权值计算公式为

其中k是一个指数参数,用于调整权重的影响,将在第2.3节中讨论k的选取.为防止分母为0作加1处理.在弱边缘方向或纹理区域的待插值点像素计算公式为

算法描述:

1) 初始化:将n×n的低分辨率图像IL放大为(2n-1)×(2n-1)的高分辨率图像IH,两图像对应关系为IH(2x-1,2y-1)=IL(x,y),其中x,y=1,2,…,n.

2) 第1轮插值,对图 3a中的白色方块IH(2x,2y),x,y=1,2,…,n进行插值,根据立方卷积计算每一待插值点的45°对角线方向和135°对角线方向的像素p1和p2,根据式(13)确定该点的像素值:

3) 第2轮插值,此时方块点为已知像素,对图 3b中的灰色圆点IH(2x-1,2y)和白色圆点IH(2x-1,2y-1)，x,y=1,2,…,n进行插值,根据立方卷积计算每一待插值点水平方向和垂直方向的像素p1和p2,根据式(13)确定该点的像素值. 3) 第2轮插值,此时方块点为已知像素,对图 3b中的灰色圆点IH(2x-1,2y)和白色圆点IH(2x-1,2y-1)，x,y=1,2,…,n进行插值,根据立方卷积计算每一待插值点水平方向和垂直方向的像素p1和p2,根据式(13)确定该点的像素值. 2.3 阈值T与指数k的确定

本文算法的关键在于阈值T和指数k的确定,但这两个参数并不能简单地根据所给低分辨率图像计算所得.本文选用24色图像根据机器学习[9]进行计算.首先对样本进行灰度化,并转换为低分辨率图像,然后选取不同的T和k构建高分辨率图像.根据经验值k的选取范围为1~6,步长为1,T的选取范围为1~1.5,步长为0.05.峰值信噪比(PSNR，Peak Signal-to-Noise Ratio)变化趋势如图 6所示.

图 6 信噪比变化图 Fig. 6 Curves of PSNR
图选项
图 7 各算法插值结果图 Fig. 7 A set of result images
图选项

由图 6可知，k=5和k=6的曲线趋于相同,因此增加k并不能进一步提高信噪比,选取k=5.随着T的增加信噪比逐渐增大,但T>1.25时信噪比开始下降,1.25的T也许是最佳的选择,但是T越大,可能会失去一些强边缘,对比实验结果,本文选择T=1.15. 3 实验结果

针对图像的质量,常用的评价方法[14]有平均平方误差(MSE,Mean Squared Error)、平均绝对误差(MAE,Mean Absolute Error)及PSNR等.这些方法能较好地反映出图像的质量,但是它们均需要原始图像的参与.图像的平均亮度值(MLV,Mean Luminous Value)直接反映人的主观感受,可以作为其中的一个参考因素.标准差(SD,Standard Deviation)描述了直方图的相对平滑度,熵评价方法(EEM,Entropy Evaluation Method)体现了图像的平均信息量,图像锐利(sharpness)代表了图像的清晰度,高阶统计量(HOS,High Order Statistics)刻画了图像的细节信号对图像质量的贡献.

利用双线性插值、立方卷积,基于边缘特征插值和本文算法进行图像放大,从客观上对放大图像进行质量评估.将琳达和花等原始图像重新取样缩小至1/4,然后分别按双线性插值、立方卷积,基于边缘特征插值和本文算法放大4倍,并与原始图像比较,如图 7所示.

PSNR值和平均计算时间如表 1所示.

表 1 PSNR比较结果和平均计算时间 Table 1 PSNR result and average time
s
图像单位立方卷积基于边缘特征本文算法
Airplane29.4730.3930.68
Bike26.0226.1026.39
Einstein30.9931.0731.40
Flinstones26.7827.5027.79
Flower31.9832.4132.54
Gripen31.8932.0232.23
Lena32.8733.3034.40
Monarch29.9930.7631.30
Parrot32.9933.8934.26
Rings53.2853.3454.11
计算时间2.555.872.68
表选项

由表 1可知,与传统立方卷积插值算法相比,峰值信噪比增加0.89dB,与基于特征的插值算法相比,平均运行时间降低了3.19s. 4 结 束 语

使用本文所提的自适应立方卷积插值算法插值后的图像:

1) 边缘定向平滑,具有较高的视觉质量,成功消除了传统插值算法存在的边缘锯齿现象;

2) 与传统立方卷积插值算法相比,信噪比增加了0.89dB;

3) 与基于特征的插值算法相比,本文所提算法的平均运行时间降低了3.19s.

参考文献
[1] Hou H S, Andrews H C.Cubic splines for image interpolation and digital filtering[J].IEEE Transactions on Acoustics,Speech and Signal Processing,1978,26(6):508-517
Click to display the text
[2] Keys R C. Cubic convolution interpolation for digital image processing[J].IEEE Transactions on Acoustics,Speech and Signal Processing,1981,29(6):1153-1160
Click to display the text
[3] Li X, Orchard M T.New edge-directed interpolation[J].IEEE Transactions on Image Processing,2001,10(10):1521-1527
Click to display the text
[4] Zhang X J, Wu X L.Image interpolation by adaptive 2-d autoregressive modeling and soft-decision estimation[J].IEEE Transactions on Image Processing,2008,17(6):887-896
Click to display the text
[5] Chang S G, Cvetkovic Z,Vetterli M.Locally adaptive wavelet-based image interpolation[J].IEEE Transactions on Image Processing,2006,15(7):1471-1485
[6] 程光权,成礼智. 基于小波的方向自适应图像插值[J].电子与信息学报,2009,31(3):265-272 Cheng Guangquan,Cheng Lizhi.Direction adaptive image interpolation via wavelet transform[J].Journal of Electronics & Information Technology,2009,31(3):265-272(in Chinese)
Cited By in Cnki (33)
[7] Han J W, Kim J H,Cheon S H,et al.A novel image interpolation method using the bilateral filter[J].IEEE Transactions on Consumer Electronics,2010,56(1):175-181
Click to display the text
[8] 孙毓敏. 一种基于融合的方向自适应插值算法及其应用[D].西安:西安电子科技大学,2009 Sun Yumin.A locally orientation-adaptive and fusion-based algorithm for image interpolation[D].Xi' an:Xidian University,2009(in Chinese)
Cited By in Cnki (2)
[9] Zhou D, Shen X,Dong W.Image zooming using directional cubic convolution interpolation[J].IET Image Processing,2012, 6(6): 627-634
Click to display the text
[10] 杨鹤猛, 黄战华.基于梯度的快速图像插值算法[J].计算机应用,2012,32(10):2821-2826 Yang Hemeng,Huang Zhanhua.Fast image interpolation algorithm based on gradient[J].Journal of Computer Applications,2012,32(10):2821-2826(in Chinese)
Cited By in Cnki
[11] Feng X J, Allebach J P.Segmented image interpolation using edge direction and texture synthesis[C]//Proceedings of IEEE International Conference on Image Processing.Piscataway,NJ:IEEE,2008:881-884
[12] 党向盈,吴锡生, 赵勇.基于边缘最大相关性的快速图像插值算法[J].计算机应用,2006,26(12):2880-2883 Dang Xiangying,Wu Xisheng,Zhao Yong.Fast image interpolation algorithm based on edge-directed max-relativity[J].Computer Applications,2006,26(12):2880-2883(in Chinese)
Cited By in Cnki (14)
[13] Li M, Nguyen T.Markov random field model-based edge-directed image interpolation[J].IEEE Transactions on Image Process,2008,17(7):1121-1128
Click to display the text
[14] 贾小军, 喻擎苍,方玫,等.约束点模型的图像放大方法[J].计算机工程,2008,34(2):232-234 Jia Xiaojun,Yu Qingcang,Fang Mei,et al.Image enlargement method based on constrained points model[J].Computer Engineering,2008,34(2):232-234(in Chinese)
Cited By in Cnki
http://dx.doi.org/10.13700/j.bh.1001-5965.2013.0621 北京航空航天大学主办。
0

文章信息

李春龙, 潘海侠, 王华峰
Li Chunlong, Pan Haixia, Wang Huafeng
自适应立方卷积图像插值算法
Adaptive cubic convolution based image interpolation approach
北京航空航天大学学报, 2014, 40(10): 1463-1468
Journal of Beijing University of Aeronautics and Astronsutics, 2014, 40(10): 1463-1468.
http://dx.doi.org/10.13700/j.bh.1001-5965.2013.0621

文章历史

收稿日期：2013-10-30
网络出版日期: 2014-04-03

相关文章

工作空间