留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于边缘保持滤波和结构张量的遥感图像融合

曲家慧 李云松 董文倩 郑毓轩

曲家慧, 李云松, 董文倩, 等 . 基于边缘保持滤波和结构张量的遥感图像融合[J]. 北京航空航天大学学报, 2018, 44(12): 2479-2488. doi: 10.13700/j.bh.1001-5965.2018.0345
引用本文: 曲家慧, 李云松, 董文倩, 等 . 基于边缘保持滤波和结构张量的遥感图像融合[J]. 北京航空航天大学学报, 2018, 44(12): 2479-2488. doi: 10.13700/j.bh.1001-5965.2018.0345
QU Jiahui, LI Yunsong, DONG Wenqian, et al. Remote sensing image fusion based on edge-preserving filtering and structure tensor[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(12): 2479-2488. doi: 10.13700/j.bh.1001-5965.2018.0345(in Chinese)
Citation: QU Jiahui, LI Yunsong, DONG Wenqian, et al. Remote sensing image fusion based on edge-preserving filtering and structure tensor[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(12): 2479-2488. doi: 10.13700/j.bh.1001-5965.2018.0345(in Chinese)

基于边缘保持滤波和结构张量的遥感图像融合

doi: 10.13700/j.bh.1001-5965.2018.0345
基金项目: 

国家自然科学基金 61502367

国家自然科学基金 61501346

国家自然科学基金 61701360

国家自然科学基金 61571345

国家自然科学基金 91538101

高等学校学科创新引智计划("111计划") B08038

长江学者特聘教授支持计划 CJT160102

中央高校基本科研业务费专项资金 

西安电子科技大学研究生创新基金 

详细信息
    作者简介:

    曲家慧  女, 博士研究生。主要研究方向:高光谱遥感图像处理、机器学习、神经网络

    李云松  男, 博士, 教授, 博士生导师。主要研究方向:图像视频压缩编码、图像处理、高性能计算、芯片设计

    通讯作者:

    李云松, E-mail: ysli@mail.xidian.edu.cn

  • 中图分类号: TP751

Remote sensing image fusion based on edge-preserving filtering and structure tensor

Funds: 

National Natural Science Foundation of China 61502367

National Natural Science Foundation of China 61501346

National Natural Science Foundation of China 61701360

National Natural Science Foundation of China 61571345

National Natural Science Foundation of China 91538101

111 Project B08038

Yangtze River Scholar Bonus Schemes of China CJT160102

the Fundamental Research Funds for the Central Universitiesl 

Innovation Fund of Xidian University 

More Information
  • 摘要:

    高光谱(HS)遥感图像含有丰富的光谱信息,但是空间分辨率较低,而全色(PAN)遥感图像空间分辨率较高。针对高光谱遥感图像与全色遥感图像的融合问题,提出了一种新的基于边缘保持滤波和结构张量的遥感图像融合算法。首先,为了提取高光谱遥感图像的空间信息,提出使用边缘保持滤波方法,该提取方法可以保证提取的信息全部为空间细节信息,避免低频混叠。其次,对全色遥感图像采用高斯-拉普拉斯图像增强算法进行图像锐化,降低图像噪声,锐化细节信息。再次,为得到总空间信息,提出使用结构张量的自适应加权策略。传统的融合算法通常仅从全色遥感图像中提取空间信息,可能会引起光谱失真或空间细节加入不足等问题,为了克服这些问题,提出的自适应加权策略得到的总空间信息不仅包含全色遥感图像的空间信息,还包含高光谱遥感图像的空间信息,且自适应加权相对于全局常数加权,可以自动选取更加合适的加权数据。最后,通过构建可以控制光谱和空间失真的增益矩阵,将总空间信息注入到插值的高光谱遥感图像的每个波段中,得到融合的高光谱图像。实验结果表明,本文提出的遥感图像融合算法,在客观评价方面,取得了最优的空间和光谱性能,在视觉效果上,与其他融合算法相比,可以更有效地提高空间分辨率和保持光谱信息。

     

  • 图 1  高光谱图像融合算法框图

    Figure 1.  Block diagram of proposed hyperspectral image fusion algorithm

    图 2  不同融合算法得到的Pavia University数据集的融合结果

    Figure 2.  Fusion results of different fusion algorithms for Pavia University dataset

    图 3  不同融合算法得到的Moffett field数据集的融合结果

    Figure 3.  Fusion results of different fusion algorithms for Moffett field dataset

    图 4  不同融合算法得到的Washington DC数据集的融合结果

    Figure 4.  Fusion results of different fusion algorithms for Washington DC dataset

    表  1  边缘保持滤波方法对各数据集的客观评价指标

    Table  1.   Objective evaluation indices of edge-preserving filtering method for each dataset

    数据集 算法 CC SAM RMSE ERGAS
    Pavia University GSI 0.930 4 6.774 0 0.044 9 4.439 9
    本文 0.930 4 6.568 6 0.038 5 4.148 6
    Moffett field GSI 0.954 3 6.355 0 0.030 2 4.052 2
    本文 0.965 0 6.347 0 0.030 1 4.030 9
    Washington DC GSI 0.866 2 7.233 0 0.013 1 74.957 2
    本文 0.879 4 7.232 0 0.013 3 73.674 9
    下载: 导出CSV

    表  2  基于结构张量的自适应加权策略对各数据集的客观评价指标

    Table  2.   Objective evaluation indices of structure tensor based adaptive weighting strategy for each dataset

    数据集 算法 CC SAM RMSE ERGAS
    Pavia University GFP 0.932 6 6.593 2 0.042 5 4.235 8
    GFGW 0.906 6 6.766 4 0.041 2 4.783 2
    GFPL 0.925 6 6.586 4 0.039 4 4.257 1
    本文 0.930 4 6.568 6 0.038 5 4.148 6
    Moffett field GFP 0.957 5 6.347 0 0.031 4 4.351 8
    GFGW 0.956 6 6.358 0 0.031 0 4.337 2
    GFPL 0.962 3 6.348 0 0.030 5 4.031 5
    本文 0.965 0 6.347 0 0.030 1 4.030 9
    Washington DC GFP 0.873 8 7.232 1 0.013 6 73.695 0
    GFGW 0.865 9 7.232 5 0.014 0 76.223 0
    GFPL 0.874 5 7.232 4 0.013 4 74.326 6
    本文 0.879 4 7.232 0 0.013 3 73.674 9
    下载: 导出CSV

    表  3  Pavia University数据集的融合结果客观评价指标

    Table  3.   Objective evaluation indices of fusion results for Pavia University dataset

    算法 CC SAM RMSE ERGAS
    PCA 0.923 4 7.656 6 0.040 8 4.783 0
    GFPCA 0.795 2 9.449 5 0.061 6 7.135 8
    GSA 0.921 9 8.799 2 0.038 9 4.532 1
    BSR 0.900 3 8.676 6 0.044 1 5.301 6
    MGH 0.930 2 6.909 0 0.038 9 4.235 5
    本文 0.930 4 6.568 6 0.038 5 4.148 6
    下载: 导出CSV

    表  4  Moffett field数据集的融合结果客观评价指标

    Table  4.   Objective evaluation indices of fusion results for Moffett field dataset

    算法 CC SAM RMSE ERGAS
    PCA 0.905 0 12.425 5 0.047 5 6.698 0
    GFPCA 0.915 7 10.319 8 0.044 1 6.287 6
    GSA 0.949 7 8.660 5 0.036 1 5.044 4
    BSR 0.954 0 8.037 2 0.032 3 4.713 1
    MGH 0.964 4 6.007 8 0.032 5 4.356 8
    本文 0.965 0 6.347 0 0.030 1 4.030 9
    下载: 导出CSV

    表  5  Washington DC数据集的融合结果客观评价指标

    Table  5.   Objective evaluation indices of fusion results for Washington DC dataset

    算法 CC SAM RMSE ERGAS
    PCA 0.853 2 7.361 9 0.013 6 83.414 5
    GFPCA 0.768 9 9.932 2 0.013 9 67.944 1
    GSA 0.870 1 7.258 0 0.018 4 83.997 9
    BSR 0.826 9 10.012 5 0.013 8 77.749 1
    MGH 0.877 7 7.261 8 0.015 6 79.859 8
    本文 0.879 4 7.232 0 0.013 3 73.674 9
    下载: 导出CSV
  • [1] LI Y S, HU J, ZHAO X, et al. Hyperspectral image super-resolution using deep convolutional neural network[J]. Neurocomputing, 2017, 266:29-41. doi: 10.1016/j.neucom.2017.05.024
    [2] MOOKAMBIGA A, GOMATHI V. Comprehensive review on fusion techniques for spatial information enhancement in hyperspectral imagery[J].Multidimensional Systems and Signal Processing, 2016, 27(4):863-889. doi: 10.1007/s11045-016-0415-2
    [3] TU T M, SU S C, SHYU H C, et al. A new look at IHS-like image fusion methods[J].Information Fusion, 2001, 2(3):177-186. doi: 10.1016/S1566-2535(01)00036-7
    [4] CHAVEZ P S, KWARTENG A Y.Extracting spectral contrast in Landsat thematic mapper image data using selective principal component analysis[J].Photogrammetric Engineering and Remote Sensing, 1989, 55(3):339-348.
    [5] LABEN C, BROWER B.Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening: United States Patent 6011875[P].2000-01-04.
    [6] QU J H, LI Y S, DONG W Q.Hyperspectral pansharpening with guided filter[J].IEEE Geoscience and Remote Sensing Letters, 2017, 14(11):2152-2156. doi: 10.1109/LGRS.2017.2755679
    [7] MALLAT S.A theory for multiresolution signal decomposition:The wavelet representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(7):674-693. doi: 10.1109/34.192463
    [8] VIVONE G, RESTAINO R, MAURO D M, et al.Contrast and error-based fusion schemes for multispectral image pansharpening[J].IEEE Geoscience and Remote Sensing Letters, 2014, 11(5):930-934. doi: 10.1109/LGRS.2013.2281996
    [9] LIU J G.Smoothing filter based intensity modulation:A spectral preserve image fusion technique for improving spatial details[J].International Journal of Remote Sensing, 2000, 21(18):3461-3472. doi: 10.1080/014311600750037499
    [10] YOKOYA N, YAIRI T, IWASAKI A.Coupled nonnegative matrix factorization unmixing for hyperspectral and multispectral data fusion[J].IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(2):528-537. doi: 10.1109/TGRS.2011.2161320
    [11] SIMOES M, DIAS J B, ALMEIDA L B, et al.A convex formulation for hyperspectral image superresolution via subspace-based regularization[J].IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(6):3373-3388. doi: 10.1109/TGRS.2014.2375320
    [12] WEI Q, DIAS J M, DOBIGEON N, et al.Hyperspectral and multispectral image fusion based on a sparse representation[J].IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(7):3658-3668. doi: 10.1109/TGRS.2014.2381272
    [13] HE K, SUN J, TANG X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6):1397-1409. doi: 10.1109/TPAMI.2012.213
    [14] HARRIS C.A combined corner and edge detector[C]//Proceedings of the Alvey Vision Conference, 1988: 147-151.
    [15] WALD L, RANCHIN T, MANGOLINI M.Fusion of satellite images of different spatial resolutions:Assessing the quality of resulting images[J].Photogrammetric Engineering and Remote Sensing, 1997, 63(6):691-699.
    [16] LONCAN L, ALMEIDA L B, DIAS J M, et al.Hyperspectral pansharpening:A review[J].IEEE Geoscience Remote Sensing Magazine, 2015, 3(3):27-46. doi: 10.1109/MGRS.2015.2440094
    [17] ZHANG L, ZHANG L, TAO D, et al.On combining multiple features for hyperspectral remote sensing image classification[J].IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(3):879-893. doi: 10.1109/TGRS.2011.2162339
    [18] AIAZZI B, BARONTI S, SELVA M.Improving component substitution pansharpening through multivariate regression of MS+pan data[J].IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10):3230-3239. doi: 10.1109/TGRS.2007.901007
    [19] LIAO W, HUANG X, COILLIE F, et al.Processing of multiresolution thermal hyperspectral and digital color data:Outcome of the 2014 IEEE GRSS data fusion contest[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6):2984-2996. doi: 10.1109/JSTARS.2015.2420582
  • 加载中
图(4) / 表(5)
计量
  • 文章访问数:  613
  • HTML全文浏览量:  79
  • PDF下载量:  379
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-06-11
  • 录用日期:  2018-07-27
  • 网络出版日期:  2018-12-20

目录

    /

    返回文章
    返回
    常见问答