留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

采用色差先验约束的像差校正技术

张金刚 相里斌 汶德胜 王书振

张金刚, 相里斌, 汶德胜, 王书振. 采用色差先验约束的像差校正技术[J]. 中国光学, 2018, 11(4): 560-567. doi: 10.3788/CO.20181104.0560
引用本文: 张金刚, 相里斌, 汶德胜, 王书振. 采用色差先验约束的像差校正技术[J]. 中国光学, 2018, 11(4): 560-567. doi: 10.3788/CO.20181104.0560
ZHANG Jin-gang, XIANG LI-bin, WEN De-sheng, WANG Shu-zhen. Aberration correction technology based on chromatic aberration prior constraints[J]. Chinese Optics, 2018, 11(4): 560-567. doi: 10.3788/CO.20181104.0560
Citation: ZHANG Jin-gang, XIANG LI-bin, WEN De-sheng, WANG Shu-zhen. Aberration correction technology based on chromatic aberration prior constraints[J]. Chinese Optics, 2018, 11(4): 560-567. doi: 10.3788/CO.20181104.0560

采用色差先验约束的像差校正技术

doi: 10.3788/CO.20181104.0560
基金项目: 

国家自然科学基金项目 61775219

国家自然科学基金项目 61771369

国家自然科学基金项目 61640422

国家自然科学基金项目 61540028

中国科学院装备预研联合基金项目 6141A01011601

详细信息
    作者简介:

    张金刚(1982-), 男, 陕西榆林人, 副研究员, 主要从事计算光学成像技术方面的研究。E-mail:zhjg007@126.com

    相里斌(1967—), 男, 山西人, 博士, 研究员, 主要从事光学工程与空间技术领域方面的研究。E-mail:xiangli@aoe.ac.cn

    王书振(1978—), 男, 山东聊城人, 博士, 副教授, 主要从事图像处理方面的研究。E-mail:shuzhenwang@xidian.edu.cn

  • 中图分类号: TP394.1;TH691.9

Aberration correction technology based on chromatic aberration prior constraints

Funds: 

National Natural Science Foundation of China 61775219

National Natural Science Foundation of China 61771369

National Natural Science Foundation of China 61640422

National Natural Science Foundation of China 61540028

Joiny Fund for Equipment Pre-Research of the Chinese Academy of Sciences 6141A01011601

More Information
图(8)
计量
  • 文章访问数:  512
  • HTML全文浏览量:  106
  • PDF下载量:  176
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-01-11
  • 修回日期:  2018-03-13
  • 刊出日期:  2018-08-01

采用色差先验约束的像差校正技术

doi: 10.3788/CO.20181104.0560
    基金项目:

    国家自然科学基金项目 61775219

    国家自然科学基金项目 61771369

    国家自然科学基金项目 61640422

    国家自然科学基金项目 61540028

    中国科学院装备预研联合基金项目 6141A01011601

    作者简介:

    张金刚(1982-), 男, 陕西榆林人, 副研究员, 主要从事计算光学成像技术方面的研究。E-mail:zhjg007@126.com

    相里斌(1967—), 男, 山西人, 博士, 研究员, 主要从事光学工程与空间技术领域方面的研究。E-mail:xiangli@aoe.ac.cn

    王书振(1978—), 男, 山东聊城人, 博士, 副教授, 主要从事图像处理方面的研究。E-mail:shuzhenwang@xidian.edu.cn

  • 中图分类号: TP394.1;TH691.9

摘要: 本文通过分析自然图像的边缘3个通道之间的关联性, 提出"同一物体的边缘在3个颜色通道应处于相同位置"的色差先验约束, 该约束在数学上近似为各通道的相对导数相等, 基于此色差先验约束, 建立了一种新的像差校正模型即图像解卷积模型, 并给出了基于交替方向乘子法的模型求解算法。实验结果表明:本文的像差校正技术可以提升图像的峰值信噪比10 dB以上, 明显优于目前主流的BM3D和YUV算法, 并且视觉提升效果明显, 基本满足普通光学系统对像差的校正要求。

English Abstract

张金刚, 相里斌, 汶德胜, 王书振. 采用色差先验约束的像差校正技术[J]. 中国光学, 2018, 11(4): 560-567. doi: 10.3788/CO.20181104.0560
引用本文: 张金刚, 相里斌, 汶德胜, 王书振. 采用色差先验约束的像差校正技术[J]. 中国光学, 2018, 11(4): 560-567. doi: 10.3788/CO.20181104.0560
ZHANG Jin-gang, XIANG LI-bin, WEN De-sheng, WANG Shu-zhen. Aberration correction technology based on chromatic aberration prior constraints[J]. Chinese Optics, 2018, 11(4): 560-567. doi: 10.3788/CO.20181104.0560
Citation: ZHANG Jin-gang, XIANG LI-bin, WEN De-sheng, WANG Shu-zhen. Aberration correction technology based on chromatic aberration prior constraints[J]. Chinese Optics, 2018, 11(4): 560-567. doi: 10.3788/CO.20181104.0560
    • 随着科学技术的不断发展, 光学成像技术已经被广泛应用于天文观测、遥感、测绘和军事侦察等诸多领域, 它正逐渐成为人们获取各种空间信息、发现和识别目标的重要依据。而近些年新兴的计算光学成像技术是利用光学技术和信号数字处理技术来获得更高性能的光学成像的新学科, 是公认的新一代光学成像技术。而在光学成像的过程中难免会产生各种干扰, 产生图像像差, 色差校正是像差数字校正中最复杂的环节之一。

      像差校正方法分为基于物理模型算法和盲复原算法两类, 基于物理模型的算法主要有基于维纳滤波的方法, 基于逆滤波的方法, 基于happy-laplacian[1]先验信息的方法等。这些方法所采用的图像退化核函数是已知的, 可以较好地校正色差, 复原出清晰图像。在使用此方法时, 所建退化图像物理模型的精确度会影响修正效果, 如果建立的物理模型存在较大误差, 修正后图像可能产生人工振铃噪声, 不能很好地恢复图像细节。在现实应用中, 图像退化是个极复杂的过程, 很难精确的用数学模型描述, 因此传统的物理模型算法适用范围受到限制。相比而言, 图像盲复原算法可以在图像退化核函数未知的情况下, 利用退化图像来估计退化核函数, 进行像差修正, 因此这类算法具有更强实用性。但由于盲复原算法缺乏先验知识, 存在计算复杂度高且退化核函数估计误差较大等缺点, 影响像差校正效果。随着对大量图像的观察并统计相关特性[2], 各种先验知识被不断发掘, 并用于图像退化核函数估计中[3]

      传统的盲复原算法的先验知识是通过建立最大后验概率模型, 统计并分析清晰图像的概率分布曲线得到的, 概率分布曲线的拟合参数一般由人为设定[4], 并没有有效利用清晰图像的统计特性, 算法鲁棒性较差, 不能很好恢复图像细节。

      本文首先从大量自然图像中分析了3个通道的关联性, 总结出“同一物体的边缘在RGB三个通道中应该处于同一位置”的色差先验, 经过反复尝试和论证, 提出了基于该色差先验的解卷积算法。该算法能够有效提升存在大色差图像的成像质量, 相比传统方法, 本文提出的色差数字校正技术能够很好地处理色差带来的图像质量下降问题。

    • 光学系统成像过程实质上是个降质过程, 通过该过程中的一系列先验知识来建立降质模型, 然后针对降质模型的退化过程, 使用一些常用或新颖的技术手段来重建和恢复图像, 如最基本的图像插值算法, 超分辨算法, 解卷积算法等。图像解卷积是图像处理领域的一类典型问题, 其模型假设为, 获得的图像是真实场景与点扩散函数的卷积受噪声污染后的结果。其成像原理可用图 1表示。

      图  1  光学系统成像原理示意图

      Figure 1.  Schematic diagram of optical system imaging principle

      假设b代表用透镜得到的物理像, u为真实图像, k为像差引起的像质退化参数, 即点扩散函数, n为系统噪声, *为卷积运算符。则成像模型以矩阵向量形式可以表示为:

      (1)

      其中, 卷积核是由各种像差线性组合而成, 即k= , 其中S1, S2, …, S7分别代表球差、正弦差、慧差、场曲、像散、畸变、色差引起的点扩散函数[5]。在此降质模型下, 根据观测图像获得真实图像的过程称为解卷积, 从计算方法上来讲属于求解数学上的逆问题。

      上述问题是一个欠定问题, 降质过程的先验知识迥异, 从而会有无穷多解。数字校正建模即构造一个优化目标, 使得从上述无穷多解中选出最有可能的一个。数字校正建模一般具有如下形式:

      (2)

      其中, ‖uk-b2为数据适定项, g(u)为正则化项。

      在不同的噪声情况下, 数据适定项‖uk-b2有可能用其他的约束来代替, 比如‖uk-b1, 但多数情况下为‖uk-b2, 如文献[6-7]。因为它表示的噪声情形为高斯分布。

      近年, 国内外对解卷积图像恢复算法的研究成果中, 根据不同的先验条件, 采用的正则化项的表示形式多种多样, 甚至为了权衡各正则化项的优缺点, 会选取若干种约束的组合作为约束条件。其中比较常见的约束为:

      ① 最大熵约束-ulogu[8]; ②稀疏约束|u|1[9-10]; ③平滑约束|∇u|1; ④傅里叶域稀疏约束|Fu|1, F为傅里叶变换[11]; ⑤小波域稀疏约束|Wu|1, W为小波变换[12]; ⑥全差分约束|∇xu|1+|∇yu|1+|∇du|1, 其中∇k(k=x, y, d)分别表示在水平方向、垂直方向和对角方向的差分算子。

      在正则化项的选择和确定过程中, 需要充分分析成像过程的物理机制以及成像系统的性能参数, 以形成有效的先验信息, 包括图像的平滑性, 噪声的统计模型, 图像纹理保持, 图像熵约束等, 使病态的重建问题尽可能的良态化。

      色差又称为色散现象, 可分为“纵向色差”和“横向色差”。纵向色差, 即不同颜色光线的波长不同, 焦距也不同。横向色差, 理论上色散可以出现在影像中央也可能出现在边缘, 不过由于边缘的光程较长, 因此色散也就特别明显。由于短波长的折射率较高, 因此紫色对色差特别敏感。由色差而形成的紫边, 通常可以在画面边缘看到, 而由于紫色折射得较多, 所以紫边一般都是由内向外扩散。

      为了消除色差, 需要找到关于色差的先验知识[13-14]。在分析色差形成原理的基础上, 首先分析了大量自然图像, 比对了具有色差和不具有色差情况下图像的差异。通过比对发现, 图像的平滑区域在有无色差的情况下区别不明显, 仅仅是灰度值大小不同; 而在图像的边缘区域则既存在关联, 又有差异。

      在本文中, 根据这一结论, 结合数字图像处理技术, 以色差先验知识为依据, 提出了基于色差先验的图像解卷积算法。

    • 图 2所示的房屋为例, 左上图为没有色差的图片, 左下图为存在色差的图片。可以看出, 由于色差的存在导致房屋边缘的地方出现“紫边”。

      图  2  色差先验示意图

      Figure 2.  Schematic diagram of chromatic aberration prior

      截取两图同一水平位置的剖线, RGB三个通道的灰度值曲线分别用红、绿、蓝显示在右侧相应位置。受色差影响, 图像在3个通道的模糊程度不同, 这里红色通道相对清晰, 边缘较为锐利, 而绿色通道边缘较为平滑, 蓝色通道平滑程度更大, 因此造成图像在视觉上表现出偏紫色的边缘瑕疵。如果不存在色差, 同一物体的边缘在RGB三个通道的强度略有不同, 但边缘则应该处于同一位置。这一现象广泛存在于自然图像之中, 因此可视为清晰图像的一种先验知识, 作为正则化约束加入到解卷积优化算法之中, 对色差进行数字校正。

      本文将这一图像先验知识称为色差先验, 具体含义是同一物体的边缘在RGB通道应处于同一位置, 数学上可近似表示为

      (3)

      式中, uiur是任意两个不同颜色通道的图像, ∇ui和∇ur是对应的图像梯度, 其维度为3倍于图像维度, 即, ∇uiRn*3, n为图像维度, 分别表示在水平方向、垂直方向和对角方向的图像梯度。Felix Heide在参考文献[15]中也采用了公式(3)作为正则化算子, 但其基于此公式建立的模型主要针对简单透镜系统。结合传统解卷积算法中的全变分正则化方法, 光学系统数字校正可以建模为:

      (4)

      式中, ki表示i通道的点扩散函数, i的取值范围为RGB通道, ui表示该通道待求解的清晰图像, *表示卷积, gi是该通道的拍摄图像, ‖·‖1表示l1范数, ‖·‖2表示l2范数, 是对图像边缘等特征稀疏性的表达, αβ分别表示全变分项和色差先验项的权值。

    • 模型(4)可以利用交替方向乘子法(Alternating Direction Method of Multipliers, ADMM)[16-17]求解。ADMM算法通过分解协调过程, 将大的全局问题分解为多个较小、较容易求解的局部子问题, 并通过协调子问题的解而得到全局问题的解, 适用于大规模问题的快速求解。相比传统的优化方法(如共轭梯度法, Primal-Dual法等), ADMM具有容易实现, 计算速度快等特点, 因此本文选择ADMM方法进行求解。针对模型(4), 需要把该模型分解为R、G、B三个通道单独求解。

      (5)
      (6)
      (7)

      本文以求解uR为例, uGuB的解法类似。

      zi=∇iuR, L(u)的增广拉格朗日表达式为:

      (8)

      其中, uRRn为第t代的目标图像的R通道分量, zRn*3表示第t代的目标图像变量在水平、垂直和对角3个方向上的导数图像。

      kR, uR, uG, ∇uG, uB, ∇uB视作不变量, 则:

      (9)

      故,

      (10)

      z的迭代式为:

      (11)

      该式也可以表示为:

      (12)

      其中max、sgn分别为最大值和符号函数, “∘”符号表示向量对应元素相乘。

      t+1代的真实图像R通道分量uR(t+1)的迭代公式可以通过Lρ(z, uR, ζ)的欧拉方程得到:

      (13)

      其中, KR为点扩散函数R通道分量对应的toeplitz矩阵[18]

      为了简化运算, 使用卷积核代替对应的矩阵, 并将矩阵乘法运算替换成卷积运算。令di, kR分别代表∇i的卷积核和点扩散函数的R通道分量。由于卷积的特性, 使用傅里叶变换上式得:

      (14)

      式中, -1分别为正向和逆向傅里叶变换, ∘表示向量或矩阵对应点相乘。

      拉格朗日乘子ζ的迭代过程为:

      (15)

      迭代终止条件可以设置成固定迭代次数或者迭代直到目标图像收敛为止。

      (16)
    • 为了测试基于色差先验的图像解卷积算法的校正效果, 本文将对同一幅模糊图片分别使用基于色差先验的图像解卷积算法、BM3D算法[19]和YUV算法[20]求解, 对比解卷积得到的图像和峰值信噪比。

      首先, 使用模糊核卷积清晰图像来仿真具有色差的模糊图像。以图 3中的模糊核分别卷积图 4中的真值图像得到图 5中的模糊图像。

      图  3  模糊核

      Figure 3.  Blur kernel

      图  4  清晰图片

      Figure 4.  Sharp image

      图  5  仿真得到的模糊图片

      Figure 5.  Blurred image

      对仿真得到的模糊图像分别使用基于色差先验的图像解卷积算法、BM3D算法和YUV算法解卷积, 恢复的清晰图像分别见图 6图 7图 8。对3种算法复原图像分别计算峰值信噪比以衡量算法的优劣, 其中基于色差先验的图像解卷积算法解卷积图像的峰值信噪比为35.809 dB, BM3D算法解卷积图像的峰值信噪比为27.227 dB, YUV算法解卷积图像的峰值信噪比为31.842 dB。无论是直观的图像恢复效果还是由计算得出的峰值信噪比, 本文提出的基于色差先验的图像解卷积算法都优于另外两种算法。

      图  6  采用本文算法获得的校正图像

      Figure 6.  Deblurred image by our proposed algorithm

      图  7  采用BM3D算法获得的校正图像

      Figure 7.  Deblurred image by BM3D algorithm

      图  8  采用YUV算法获得的校正图像

      Figure 8.  Deblurred image by YUV algorithm

    • 本文首先介绍了光学系统成像模型及像差校正原理, 针对数字校正像差的问题, 给出了“同一物体的边缘在3个颜色通道应处于相同位置”的色差先验限制, 将该先验知识以正则化项的形式反映在优化算法之中, 据此提出了基于色差先验的像差校正模型, 并给出了基于ADMM的求解算法。实验结果表明:本文的像差校正技术可将图像的峰值信噪比提升10 dB以上, 明显优于目前主流的BM3D和YUV算法, 并且视觉提升效果明显, 基本满足普通光学系统对像差的校正要求。

参考文献 (20)

目录

    /

    返回文章
    返回