毕业论文：图像重建数学模型和超分辨率空域重建算法研究

目录/提纲：……
一、绪论…………………………………………………………5
二、图像超分辨率重建算法基础…………………………………11
三、基于MAP的正则化超分辨率图像重建算法…………24
实验四、PSNR（峰值信噪比）比较
……

毕业论文：图像重建数学模型和超分辨率空域重建算法研究

摘 要

简介：图像超分辨率重建是一种病态反问题。在过去的二十年间,一系列的超分辨率方法被提出。数据和噪音的假定模型容易受这些方法影响，从而限制了他们的实用性。这篇论文以图像重建数学模型和超分辨率空域重建算法为研究主线，综述了这些方法中的一部分，并指出了他们的不足。在处理不同的数据和噪声模型之前我们提出了基于L1范数极小化和双边全变差的稳健性正则化的交替性方法。这种比较简单的运算方法有效的抑制了运动和模糊估计产生的误差和导致有锋利边缘的图像。仿真结果说明了我们方法的有效性和证明一些超分辨率方法的优势，而且重建图像的视觉效果和峰值信噪比(PSNR)均有一定的提高。


关键词：双边滤波器、去模糊、增强、图像的重建、多帧、正则化、抗差估计、超分辨率，全变差（TV）。


ABSTRACT

Image super-resolution reconstruction is an ill-posed inverse problem.In the last two decades, a variety of super-resolution methods have been proposed. These methods are usually very sensitive to their assumed model of data and noise, which limits their utility. In this paper,detailed analysis and discussion of the selection of the regularization parameter has been given. reviews some of these methods and addresses their shortcomings.We propose an alternate approach using 1 norm minimizationand robust regularization based on a bilateral prior to deal with different data and noise models. This computationally ine*pensive method is robust to errors in motion and blur estimation and results in images with sharp edges. Simulation results confirm the effectiveness of our method and demonstrate its superiority to other super-resolution methods,and has considerable effectiveness in terms of both visual evaluation and PSNR.



Key words：Bilateral filter, deblurring, enhancement, image restoration, multiframe, regularization, robust estimation, super resolution, total variation (TV).


目 录

摘 要 ……………………………………………………………… 1
ABSTRACT ………………………………………………………… 2
一、绪论 ………………………………………………………… 5
1.1课题的背景与意义 ………………………………………… 5
1.2 SR的研究现状及其应用 …………………………………… 7
1.3 研究目标 …………………………………………………… 9
1.4本文的主要工作及内容安排 ………………………………… 9
二、图像超分辨率重建算法基础 ………………………………… 11
2.1 观测模型的建立 ……………………………………………… 11
2.2 超分辨率重建问题的病态性 ………………………………… 12
2.3 超分辨率重建算法的典型步骤 ……………………………… 13
2.3.1 图像配准 ………………………………………………… 13
2.3.2 图像插值和重建 ………………………………………… 14
2.4 超分辨率重建技术的典型算法 ……………………………… 15
2.4.1 频域算法 ………………………………………………… 15
2.4.2 空域算法 ………………………………………………… 17
1） 非均匀插值算法 ……………………………………… 18
2） 迭代反投影算法 ……………………………………… 18
3） 随机算法 ……………………………………………… 19
4） 正则化算法 …………………………………………… 19
5） 集合论算法 …………………………………………… 20
6） MAP/ML/POCS混合算法………………………………… 21
7） Delaunary三角剖分法 ……………………………… 21
8） 基于学习的算法 ……………………………………… 22
2.5.1 算法比较与总结…………………………………………… 22
2.6 本章小结 ………………………………………………… 23
三、基于MAP的正则化超分辨率图像重建算法 ………… 24
3.1 简要的提出MAP正则化目标方程 …………………………… 25
3.2 代价方程保真度项分析 ……………………………………… 25
3.2.1 二阶范数算法分析 ………………………………………… 25
3.2.2一阶范数算法分析 ………………………………………26
3.2.3 实验仿真与分析 …………………………………………28
3.3 双边滤波正则化算子 ……………………………………… 29
3.4 实验仿真与分析 …………………………………………… 31
结 语 ………………………………………………………………35
参考文献 ……………………………………………………………I
致 谢 ……………………………………………………………III
英文翻译 ……………………………………………………………IV






第一章 绪论

1．1课题的背景与意义
随着图像传输和处理技术的飞速发展，人们对高分辨率的图像和视频信息的要求日趋提高。分辨率往往是表征图像观测水平的重要技术指标，它取决于仪器固有的分辨率和其他因素对成像的影响。从应用的角度讲，人们总是希望得到高分辨率的图像，因为高分辨率意味着图像的像素密度高，能够提供更多的细节信息。自从1970年以来，CCD(Charge Coupled Device)和CMOS传感器件被大量用于数字图像获取，使成像分辨率得到了很大的提高，虽然能够满足大多数需求，但是从发展的观点来看，目前的分辨率水平还远远不够。而且在许多重要的成像领域，还存在很多导致图像退化的因素，如光学系统的像差、大气扰动、运动、散焦，欠采样和系统噪声等。
然而，高分辨率的图像和视频数据在获取和处理过程中受到多方面制约。提高图像空间分辨率的途径通常有两种。一种最直接的方法是提高工艺水平，通过改进成像器件的物理特性，如降低像元尺寸、增大芯片面积等。但这一方法有内在缺陷，芯片面积增大会引起电荷转移速率下降，降低像元尺寸会使单位像元受光量减少、成像单元受散粒噪声的影响加大，进而导致成像图像的质量急剧下降。另一种是改进光学镜头的焦距和孔径。在航拍图像的超分辨率重建中，为了提高图像的空间分辨率并保持足够地面覆盖范围，通常采用增大相机光学系统的焦距和孔径的方法。但这种大型光学系统受光学材料、加工、制造成本等的制约，现有的光学成像系统已接近光学器件制造工艺和系统空间运载能力的极限。而在民事应用中，为了降低成本，考虑易用性，也很少会采用加大焦距和孔径的方式。且为了能在高分辨率(或高清晰度)的显示器上表现足够幅面(最好是满屏)的原始成像，人们尝试了各种图像“放大”的方法，可其做法仍然是对有限分辨率的原始成像进行像素内插，本质上并不能提高图像的空间分辨率。
因此如何在现有的硬件水平下提高图像的空间分辨率成为迫切需要解决的问题，超分辨率图像重建技术正是在这一需求下提出的新方法。超分辨率图像重建技术是采用信号处理技术从单帧或者多帧低分辨率图像中重建出高分辨率图像，这就是目前图像处理领域特别活跃的超分辨率重建技术，其主要优点是成本低廉且现有成像系统仍可利用。众所周知，成像系统相当
……（新文秘网https://www.wm114.cn省略5989字，正式会员可完整阅读）……　
用的算法不同，以上各个步骤可单独进行也可同时进行，如图2．2所示。

图2-2 图像超分辨率重建过程
2．3．1 图像配准
图像配准是序列超分辨率重建的基础。待融合的LR图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就是将不同传感器所采集得到的同一场景的多光谱、多波段图像或同一传感器在不同时间、不同方位得到的同一场景的图像变换到同一坐标系下，以供重建使用。
目前图像配准的研究比较广泛，提出了很多有效的配准方法。例如，基于灰度统计信息的配准方法、频域配准方法、基于特征的配准方法等。
图像配准可以定义为两帧图像在空间和灰度上的映射。如果用给定尺寸的二维矩阵 和 代表两帧图像， 和 分别表示相应位置(*，y)上的灰度值，则图像间的映射可表示为

式中，g是一维灰度或辐射变换，f表示一个二维空间坐标变换，即

配准问题的任务包括找到最优的空间和灰度变换，使图像相对于基准图像得到匹配。通常灰度变换譬是不需要的，但在不同传感器之间的图像配准(如光学到雷达图像)等应用中可能要用到。
一般情况下，寻找空间或几何变换是解决配准问题的关键，这一交换可参数化为两个单值函数 和 ，则

图像配准可分为频域法和空域法。由于Fourier变换的特点，频域法只局限于求解全局运动模型，并且更多的是考虑平面移动或可能的旋转和伸缩。但相对空域而言，频域中更容易描述和解决混叠问题。
图像配准一般可分为以下几个步骤。
第一步，特征检测，即根据图像性质，人工或自动从基准图像和待配准图像中提取适于配准的图像特征(如闭合边界区域、边缘、线交点等)，并用控制点(如区域中心、角点、端点等)表示；
第二步，特征匹配，即对每帧图像中的控制点进行匹配；
第三步，变换模型估计，即选择几何变换模型，并利用匹配控制点对来估计映射函数的类型和参数；
第四步，图像插值和变换，即以基准图像为基础进行灰度插值和坐标变换，获得配准图像，增加图像信息。
2．3．2图像插值和重建
序列图像进行配准以后，就要进行图像插值和重建；单帧图像则直接进行插值和重建。
图像插值是一个图像数据的再生过程，利用己知采样点的灰度值估计未知采样点的灰度值，在给定的空间范围内，从有限的离散采样数据重建出原来连续的图像信号。通过插值可以实现图像的放大显示，提高图像分辨率。一般来说，图像插值须满足以下假设。
第一，插值的像素灰度值在二维欧氏空间中是连续曲面；
第二，所采用的图像插值模型应满足插值条件，也即在原图的采样点上，插值结果应与原图中的像素值保持一致。
目前，在图像插值领域里，对于单通道的静止图像信号，主要有基于随机场、时域、频域、时频域和时频空域等几类较为成熟的基于模型的插值算法；而对于多通道的图像信号，己有文献 提出了通过信息融合算法，增强高频信息，锐化边缘特征来提高插值图像的视觉效果和质量。
插值通常是利用曲线拟合的方法，通过离散的输入采样点建立一个连续函数，用这个重建的函数便可以求出任意位置处的函数值。这样便可以不受仅在采样点处抽取输入信号值的限制。对有限带宽的信号采样会产生无限带宽信号，插值过程正好相反，它通过对离散信号作低通滤波处理，减少了信号的带宽。插值函数对采样数值的平滑作用，恢复了在采样过程中丢失的信息。因而插值可以看作是采样的逆过程。
对于等间隔采样数据，插值可以表示为
（2-7)
式中，h为插值核， 为权系数，卷积对K个数据作处理。式(2.7)将插值用卷积操作来表示，在实际应用中，h总是对称的，即有 ， 即为采样值。
插值核的性质可以通过其在频率域的特性来评估。理想的插值核在带通区具有单位增益，在带阻区具有零增益。因而可以有效地通过和抑制不同频率的信号成分。
图像重建，这里主要是指对前面步骤获得的HR图像进行去噪、去模糊操作，进一步合理优化重建的HR图像。很多情况下，重建步骤可以和前面的步骤一同进行。
2．4超分辨率重建技术的典型算法
超分辨率重建算法主要分为频域算法和空域算法。早期的研究工作主要集中在频域进行，但随着考虑更广义的退化模型，后期的研究工作主要集中在空域进行。
2．4．1频域算法
1984年，Huang和Tsai最早提出多帧超分辨率问题并在频域中进行求解。他们在文献 中证明了在不存在噪声和模糊的情况下，基于LR图像中的混叠，可以由多帧LR图像重构出一帧HR图像。在原始场景信号带宽有限的假设条件下，利用离散Fourier变换与连续Fourier之间的平移和混叠性质，给出一个由一系列降采样观测图像数据重建高分辨率图像的公式，使得多帧观测图像经混叠的离散Fourier变换变换系数与未知场景的连续Fourier变换系数以方程组的形式联系起来，方程组的解就是原始场景的频率域系数，再利用求解的频率域系数进行Fourier逆变换就可实现原始场景的精确重建。这种算法要求图像问位移参数的估计精度达到亚像素(subpi*d)级，而且每一帧观察图像都必须只对方程组中的一个不相关的方程做出贡献。
设f(*，y)为一帧连续HR图像，其连续Fourier变换(CFT,continuous Fourier transform)为F(u，v)。由全局位移产生R帧位移图像
, (2-8)
式中，r=1,2，．．．，R，其CFT为 .
根据CFT的位移性质，
(2-9)
通过对位移图像进行脉冲采样，获得观测图像
(2-10)
式中m=O，1，．．．，M一1，n=0，l，．．．，N一l，其二维离散Fourier变换(DFT,discrete Fourier transform)为 。
根据频谱混叠性质，HR图像的CFT和LR图像的DFT之间存在以下关系式
(2-11)
设f(*，Y)为带限函数，即存在U和V，使得当 ， 时，有F(u，v) 0，将上式用矩阵表示为G=咖，，其中G为R*1的列向量，第r个元素为观测图像 的DFT系数， 为观测LR图像的DFT和连续HR图像的CFT的关系矩阵，F为4UV*l的列向量。
由此可见，频域超分辨率重建主要完成以下几个步骤。
第一步，获取 帧观测图像的DFT：
第二步，确定 ，即进行运动估计；
第三步，由方程系统 解出F；
第四步，应用IDFT获得重建的HR图像。
Bose、Kim在噪声均值为零并且所有LR图像的模糊和噪声都相同的假设条件下，基于加权最小二乘理论的回归方法，将频域法应用在噪声模糊低分辨率图像上。
Vandewalle、Susstrunk和Vetterli等提出一种新的频域算法，在运动估计算法中只使用图像的低频信息。与通常的频域算法不同的是，这种运动估计算法的性能不会因噪声和很强的混叠而下降。算法中提出一种新算法来估计平面旋转，计算效率高：重建中，应用三次样条插值方法。仿真实验中，这种频域超分辨率算法可以用四帧LR图像重建一帧HR图像，分辨率是原来的两倍。通过与其他的频域算法和部分空域算法相比较，这种算法对旋转和移位参数的估计性能更好，尤其是在LR图像中存在某种强方向性时。
频域超分辨率重建算法具有理论上简单，较低的计算复杂度等优点；缺点主要包括整体平移运动和空间平移不变退化模型的局限性以及包含空域中先验知识的能力有限，具体表现为以下几个方面。
第一，只限于整体平移运动模型。应该注意到频域中的算法都是利用一个整体平移运动模型，这是频域算法基本的局限性。
第二，退化模型的不灵活性。频域算法需要存在一个变换，这个变换就是频域等价于空域的运动模型。由于在典型的复杂的超分辨率应用中不能用公式表示频域等价于空间变化运动模型的变换，因此对可行的运动模型的范围强加了非常严格的限制。
第三，包含空域先验知识困难。因为超分辨率重建是一个病态反问题，作为频域公式化的结果，空间平移不变是非常必要的。通常，被用来约束解空间的最有用的先验信息是通过空域约束，并且空域约束是非常方便和直观的，但频域算法不能很好地包含这些信息。
2．4．2空域算法
超分辨率重建的另一类算法是空域算法。空域算法将复杂的运动模型与相应的插值、迭代及滤波重采样放在一起进行处理，其线性空域观测模型涉及到全局和局部运动、光学模糊、运动模糊、非理想采样、空间可变点扩散函数及其他一些内容。
1) 非均匀插值算法:
非均匀插值超分辨率技术的基础是非均匀空间采样插值原理，LR观测图像序列经过配准后，形成一帧由非均匀间隔采样格网点上的样本值形成的复合图像，这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网。该技术依次执行运动估计、非均匀插值和去模糊过程，先估计相对运动信息，再插值获得HR图像，最后应用传统的图像重建方法去除模糊和噪声。
非均匀插值是超分辨率技术中最基础最直观的算法，具有相对较低的计算复杂度，但是这种算法需要假设所有低分辨率图像中的模糊和噪声特征都相同。
2) 迭代反投影算法
Irani和Releg在文献 中提出一种迭代反投影算法，HR图像由模拟LR图像和观测LR图像的误差进行反投影得到，这个过程不断迭代，直到误差的能量达到最小。
考虑线性观测模型Y=H*，设超分辨率图像*的第n次迭代估计值为 ，则由此估计值模拟出的LR观测图像为 。IBP过程就是通过反投影矩阵 ，将模拟LR图像 和观测LR图像Y的误差进行反投影，从而对超分辨率图像估计进行更新。通常设置 为H逆矩阵的逼近矩阵。这个迭代过程可以表示为

Keren，Peleg和Brada在文献 中考虑了空间不变PSF。并且，在对模拟图像和观测图像的误差的最优化准则中，应用反投影核来对估计值 进行更新。整个过程可以表示为

式中， 是*经过n次迭代估计得到的模拟LR图像， 表示集合 IBP的选择将影响问题的解，因此 可以看作是一种额外的约束条件，表示解的性质。这一命题已经在文献 中给出证明。
IBP算法的优点是算法直观，计算简单。但是由于超分辨率重建问题具有病态性，没有唯一的解，选择 较难。与POCS和正则化算法相比，IBP算法难以利用先验知识。
3) 随机算法：
随机理论(尤其是Bayes算法)将超分辨率重建作为一个随机估计问题来解决。随机理论可以利用求解病态超分辨率反问题所必须的先验约束知识。
假设观测数据为Y，噪声N超分辨率图像*均为随机量，则可建立随机观测方程， Y=H*+N (2-14)
最大后验概率算法(MAP,ma*imum a-posteriori)是通过计算后验概率P{*/Y}的最大值来寻找*的估计值 。
(2-15)
根据Bayes条件概率理论，认为氟I^P与P{r)不相关，对式(2—15)取对数得，
(2-16)
式中，logP{Y/*}为对数似然函数(log-likelihood function)，P{*}为*的先验概率密度。由于Y=H*+N，似然函数由噪声的概率密度函数(PDF)确定，即P{Y / *)=fn(Y一H*)。P{*}通常是利用MRF(Markov random field)图像模型。
也可以应用最大似然估计(ML，ma*imum likelihood)算法来解决超分辨率问题。ML估计可以看成是MAP的一个特例，没有先验项。由于超分辨率重建问题的病态性，需要包含先验信息，所以MAP优于ML。
随机超分辨率重建算法，尤其是应用MRF先验模型的MAP算法，优点主要体现在可以直接包括解的先验约束，这是获得病态反问题的最优解所必须的条件【2】。
4)、正则化算法：
正常情况下，超分辨率图像重建是病态问题。应用正则化过程可以使该问题良性化。对于式(2．2)中，可以有，
(2-17)
假设估计正则化参数，利用合适的先验知识，用确定性正则化解决这一病态问题。例如采用常用的有约束的最小二乘(CLS，constrained least squares)法来求解*使代价函数 达到最小，其中，
C为高通滤波器系数， 表示 范数。
在这一算法中，使用平滑约束作为重建的先验知识。因为大多数图像都是自然平滑，高频能量有限，解的先验知识就可以用平滑约束表示，相当于最小化重建图像中的高通能量。a称作正则化参数，用来权衡解的精确度和光滑程度，a越大，解越平滑，适用于LR图像数目很小的情况；反之，如果LR图像数目大，噪声小，a较小时将会得到较优的解。通过最小化代价函数，就可以求解得到一帧唯一的估计图像 。在研究鲁棒超分辨率图像重建算法中，需要结合正则化算法。
5）集合论算法：
超分辨率重建的另一种著名算法是基于集合理论的凸集投影(POCS，projection onto conve* set)算法，这是一种将先验知识引入重建过程的迭代算法。
图像重建的目的是从变质图像中重建出原始图像，其中的一个主要问题是如何尽量使用先验知识以提高重建质量。根据集合理论和成像模型，关于成像系统的冲激响应或PSF以及加性噪声的统计特性等先验知识，可视为对图像重建结果的若干约束条件，每一约束条件对应于一个含有理想超分辨率图像的凸集
这些凸集的交集 称为图像重建的可行域。显然该可行域仍是一
个凸集，相应其中任一点 称为一个可行解。
所谓的凸集投影(POCS)就是从给定的初始值出发，分别向约束集投影 ，得到可行域中一个可行解的一种迭代算法，其中 对应于到第j个凸集的投影。
传感器的点扩散函数(PSF)和因欠采样产生的混叠会使低分辨率图像发生模糊。Stark和Oskoui在1987年首次提出将POCS技术应用于超分辨率来解决因传感器产生的模糊和欠采样混叠效应M。其原因是超分辨率解空间中可行解具有多个限制条件，而每一个限制条件都可以定义为向量空间中的凸集合。这些限制条件一般是超分辨率解比较理想的性质，如正定性、能量有界性、观测数据一致性以及光滑性等。超分辨率重建问题的解空间就是这些凸的限制集的交空间。
POCS的算法简单，并能够充分利用先验知识，但是这种算法求得的解不唯一，求解收敛速度慢，计算复杂度比较高。
6）MAP/ML/POCS混合算法:
MAP/ML/POCS混合算法是将随机估计的算法与集合论POCS算法相结合得到的一种超分辨率重建算法，即在将解限制在特定的凸限制集合的交集空间的基础上，对后验概率或似然函数求最大值，从而得到HR图像的最佳估计。
Schultz和Stevenson在文献 中提出了一种约束MAP超分辨率算法，将迭代MAP算法与交互投影约束结合使用。在此基础上，Elad和Feuer提出了一种ML／POCS混合算法，他们利用ML函数将超分辨率问题表示成随机推论问题，用投影限制算法来确定最优化。
混合算法将随机算法和POCS算法的优势特征相结合，主要特点是所有的先验知识都可以有效地结合使用，与POCS算法相比，能保证有一个最优解。
2．4．2．7 Delaunary三角剖分法 Lertrattanapanich和Bose提出Delaunary三角剖分法，通过对使用空间棋盘形铺嵌和用二元多项式作为平滑约束的中的三角块进行逼近实现超分辨率重建 。
首先，使用投影模型得到各LR帧的运动参数估计，建立覆盖由LR帧配准得到的不规则采样光栅的离散顶点集合的Delaunay三角剖分，估计每个三角剖分的顶点的梯度向量。
其次，用一个连续并且连续可导的表面来逼近三角剖分中的每个三角块，其目的是使之符合某个平滑约束，文献 中采用二元三次多项式。当所有的三角块符合平滑表面后，通过二元三次多项式的简单计算可以得到HR栅格顶点的像素值，从而得到HR的初始图像，即噪声模糊HR图像。最后，使用块插入的算法来对HR初始图像进行局部更新，去除模糊和噪声，直到图像质量符合要求。
三角剖分法算法的理论基础不同于基于概率和基于集合理论的算法。与经典的反向投影算法及小波超分辨率算法相比，主要优点在于它的低计算时间、可实现并行处理以及局部更新特征。最重要的一点是，该算法对内存的需求比较低，特别适合硬件处理。但是它也有潜在缺点，即在插值中，对表面使用的三次多项式函数拟合可能不够平滑。
8）、 基于学习的算法：
超分辨率重建中，随着分辨率提高倍数的增加，LR图像序列所能提供的冗余信息显得不足，此时不能靠增加LR图像的数量来产生新的高频细节。这种情况下，关于图像本身的先验知识就显得非常重要。获得先验知识的方法除了统计方法(概率方法)外，另一个重要的方法就是神经网络，可以通过神经网络的学习训练得到。
一个图像像素的集合是一种特殊类型的信号集，和一个完全随机的变量序列相比，它的变化较少，可以通过神经网络建立高低分辨率图像之间的对应关系。
基于学习的算法主要有以下几个步骤。
第一步，将高分辨率图像按照退化模型进行退化，产生训练集合；
第二步，根据高低分辨率块的对应关系，通过神经网络进行训练学习；
第三步，根据输入的低分辨率块搜索最匹配的高分辨率块：
其中，学习算法和搜索算法的设计是该算法的核心问题。
最近Hertzmann等人使用了一个基于训练的算法来处理超分辨率问题，在不同的图像之间使用类推的算法。William和Freeman等人采用一种学习的算法来实现单帧图像的超分辨率重建。Baker和Kanade着重研究在图像类别己知的情况下进行图像放大。
基于学习的图像超分辨率重建算法虽然不能产生完全正确的高分辨率信息，但是可以得到一些合成的、视觉上似是而非的图像细节，例如锐化的边缘、模糊的纹理。从理论上讲，如果训练集合是通用的，就可以使用这个训练集合对各种类型的图像进行放大，但是从文献报道来看，目前算法还仅仅局限适用于训练图像和重建图像类型相似的情况。基于训练集合的算法对于图像放大、去除噪声、三维表面重构以及图像成像有所帮助。
2．5．1算法比较与总结
超分辨率图像重建的频域算法和空域算法各有优缺点。频域算法的思路比较清晰，其算法原理都是基于傅里叶变换的平移和混叠特性，易于理解；算法的计算较为简单，基于FFT技术的运算速度较快，并且单个频率点可以单独计算，易于实现大规模并行运算。但其观测模型过于简单，只能适用于理想情况下的图像重建，对于有运动模糊和观测噪声的情况，其重建质量明显下降。另外，频域算法的数学模型也很难对HR图像的先验知识进行建模，无法有效地约束求解结果，而频域的计算误差又会对空域图像产生整体影响，因此实际工程应用中很难得到稳定而可靠的解。
空域超分辨率算法相对于频域算法最大的特点在于其灵活性，算法直接对空域图像像素做处理，可以灵活地对全局运动和局部运动、光学模糊和运动模糊以及随机噪声等进行建模。特别是基于POCS和MAP算法的数学框架，对复杂的观测模型兼容性很好。空域算法的计算过程通常可以采用正则化的方法约束求解结果，因此易于包含图像的先验知识，而先验知识对于病态反问题的求解非常重要。但空域算法也有其缺陷，其算法的机理大多数基于最优化理论，相对于频域算法其原理较为复杂，不直观。虽然其观测模型的灵活度非常高，但相应地其计算量也非常大，特别是采用迭代的计算方法，其运算时间往往较长。
2．6本章小结
本章首先对图像超分辨率重建算法的观测模型的构建进行了介绍，指出了图像超分辨率重建算法是一个病态反问题及其原因，然后对图像超分辨率重建过程进行了详细分析，其主要可以分为图像配准、插值和重建几个步骤。最后，对图像超分辨率重建技术的主流技术，即频域算法和空域算法进行了详尽的分析和比较。










第三章 基于MAP的BTV超分辨率图像重建算法

由前文可知，因基于图像建模理论的正则化超分辨率重建框架所具有的灵活性，使之成为了当前SR重建技术研究的主要方向。在MAP框架下，SR重建就是一个基于马尔柯夫随机场（Markov Random Field，MRF）先验图像模型的统计推断问题，且先验统计模型的合理性直接决定着超分辨率重建图像的效果。
运用信号处理技术从一系列模糊、混有噪声的多幅低分辨率(LR)图像中,创建一幅或多幅细节更加丰富的高分辨率(HR)图像,这种方法就称为图像超分辨率重建 (SR)。SR算法主要分为空域和频域方法两大类。其中,频域法直观简单且计算复杂度低,但不能包含图像空域先验信息,缺乏数据间的相关性,已不是研究的主流。空域方法灵活性强,有较好包含空域先验约束信息的能力,主要方法有迭代反向投影法、凸集投影法(POCS)、MAP法、混合POCS/MAP法、正则化方法、基于学习的方法、小波方法等。其中基于MAP框架下图像超分辨率正则化技术可以直接加入先验信息约束、去噪能力强、边缘保持好,灵活性强、适用范围广,是当前SRR算法研究的热点之一。本文以图像灰度连续性为先验信息,提出了一种基于梯度连续和双边全变差(BTV)的双正则项目标方程,而对于数据保真项,我们采用Lorentzian范数构造,实验证明本文方法去除各类噪声的能力较强,边缘保持较好。
3.1简要的介绍MAP正则化目标函数
基于MAP的代价函数表示为如下形式：
(3.1)
通常称λ为正则化参数；C为正则化算子。要使得(3.1)式取最小，直接的方法是对其求偏微分并令其为零，如下式所示：
（3.2）
上式中，R通常是一个非常大的矩阵，例如，对于一幅1000*1000的图像*，矩阵R的大小为106 *106，这样的矩阵不仅要耗费巨大的内存资源，而且在运算中，
即使它的逆矩阵存在，也很难求出具体的结果。因此，通常情况下，我们可以利
用基于梯度的迭代方法求方程的最优解，得到迭代公式如下：
（3.3）
(3.4)
n=0，1，2…为迭代次数，β为迭代步长。
在求解最优的过程中，首先应选取一个初始值 ，代入式(3.4)中求出梯度g(n)，然后将g(n)代入式(3.3)中对估计值进行修正。迭代过程直到满足预先所设定的终止条件时停止，此时的估计值 就是所要求的最佳估计。
目标方程(3.1)是在假设噪声服从零均值高斯分布和图像先验模型采用Gauss-Markov随机场的情况下得到的。因此，基于MAP框架的更为通用的目标函数框架可表示为：
（3.5）
其中，前一项称为保真度项；后一项称为正则化项；λ为正则化参数；l代表了范数的阶数。采用不同的先验信息和概率模型，目标方程的细节会有所变化，算法的性能也会有所改变。
3.2代价方程保真度项分析
3.2.1二阶范数算法分析
通过前面3.1节的讨论，最终得到了基于MAP正则化算法的代价方程式式(3.5)。其中，第一项称为保真度项，从物理意义上理解，它反应了重建图像与原始图像真实值之间的误差。当重建结果越接近真实值时，对它进行同样的降质过程得到的低分辨率图像就越与已观测到的LR图像相近似，该项的值就越小。
关于式(3.5)中l的选择，由于要保证整个代价函数为凸函数性质，因此l的取值一般应满足1≤l≤2。在应用中为便于计算，常取l=1或l=2。当取l=2时，即采用二阶范数，由前面的推导可知，这实际上是假设图像系统的噪声服从零均值高斯分布时的情况。因此，采用二阶范数重建算法适合于噪声服从高斯分布的图像系统，而对于其它的噪声，它的重建效果将会受到一定的影响。
3.2.2一阶范数算法分析
通过以上对于二阶范数重建算法的分析，可知它是在假设图像系统的噪声服从高斯分布的条件下得出的，对于含有高斯噪声的图像重建效果较好，但对于存在非高斯分布奇异值的情况，其恢复的结果中就会有明显的偏差。因此，二阶范数的重建方法不具有鲁棒性。
为了更加方便的衡量算法的鲁棒性，我们引入失效点的概念。它用百分比表示，表示使得估计结果产生偏差时歧义点的数目所占的最小比例。例如：对于均值估计，一个歧义点的存在就可能使得均值偏离预期，所以均值估计的失效点就为0。而对于鲁棒的估计算法，如取中值估计，失效点可以达到最高的值为0.5。这就表明在歧义点的个数不超过点集的一半时，中值估计的结果将不会受到影响。
考虑保真度项的相应目标函数： 。假设系统具有相同的空间不变的PSF和相同的下采样因子[27]，则有 ，同时，仅考虑存在平移运动的情况，矩阵B和 都是块循环矩阵，由块循环矩阵的性质可知： 。因此，保真度项的目标函数可重新表示为： (3.6)
其中Z=B*，则求最小的问题就分解成了两步：(1)从LR图像中求出模糊的HR图像Z；对Z进行去模糊操作得到*。
对(3.6)式求梯度得：
(3.7)
表示向量对应元素的乘积。另 可求出解Z。对于所要求解的Z的简单解释是：向量Z是给定像素点上所有观察值的加权平均。我们考虑l=2时
(3.8)
文献[29]中已证明，l=2时是在像素点上对观察信息求平均值的过程。如果l=1，则梯度为：
(3.9)
注意到， 的矩阵操作是将低分辨率网格上的像素值平移后复制到相应的高分辨率网格适当的位置，高分辨率网格的其余部分填零；而 的矩阵操作是将高分辨率网格中的像素值复制到低分辨率网格，这两个过程都没有改变像素值，示意图如3-4所示。

因此，根据式(3.9)，可知每一帧LR图像对于Z中相对应像素值的影响有如下三种形式：
(1)像素值加0，当填充值为0时；
(2)像素值加1，当Z中像素值大于相应的 中的像素值时；
(3)像素值减1，当Z中的像素值小于相应的 中的像素值时；
由此可以得出结论，一阶范数的重建结果Z中的像素值，是低分辨率图像中相应像素值的中值。*可以通过对Z去模糊操作得到。
根据前面的讨论已知，二阶范数求最小相当于假设系统噪声服从高斯分布。实际上，一阶范数求最小相当于假设系统的噪声分布服从拉普拉斯分布[28][29]。
3.3 实验仿真与分析
本节实验中，我们将采用双线性插值的方法重建算法，对16幅低分辨率图像进行超分辨率重建。实验中假定低分辨率图像序列间仅存在平移运动，点扩散函数为平移不变的，并且所有的低分辨率图像都具有相同的下采样算子(即 )。由于矩阵F，B，D以及它们的转置，在实验中都可以通过直接在图像上进行平移、模糊和下采样等操作来实现，因此就无需构造大矩阵H，这使得算法的实现更加快速有效。
为了增加实验的可靠性，拍摄了几组的低分辨率图像。我们利用16幅LR（90*90）图像进行超分辨率重建，得到一幅256*256的图像。结果如下图所示：
LR图像 双三次插值得到的图像
由上图可见，采用直接的插值算法难以得到满意的HR图像，图像轮廓在一定程度上变得模糊。接下来的实验将证明而采用基于一阶范数的重建算法，在完全配准和高斯噪声的情况下，不仅能够较好的抑制噪声的影响，同时也能够有效的恢复出图像的高频细节信息。
以下我们还是选用具有全局平移运动的16幅低分辨率图像作为测试图像，运动信息未知，实验中利用简单的频域算法进行运动信息的估计。同时，假设未知的PSF是5*5的平均模糊。实验结果如下图3-6所示：

双三次插值图像、BTV图像
上图中，利用一阶范数重建的结果中物体边缘出现了明显的模糊，这主要是由于配准算法不够精确，使得估计的运动信息不准造成的；而在使用相同的配准参数条件下，一阶范数重建结果应该物体边缘更为清晰。因为二阶范数重建算法对于配准误差没有一定的鲁棒性，能够在配准存在误差时无法保证重建的效果。
3.3代价方程正则化项分析-双边滤波正则化算子
通过3.1节的推导，我们得出了代价方程(3.5)：

其中，通常称第二项为正则化项；λ为正则化参数（关于λ的选取将在下一章讨论）。由于超分辨率重建问题的不适定性，需要正则化来保证得到稳定的解。同时，通常正则化项都是关于原始图像系统先验信息的一种描述，因此在重建的过程中能够帮助去除结果中的奇值，提高算法的收敛速率。在选择使用正则化条件时，我们所希望的是即易于实现，又能够较好的保持图像边缘细节信息的正则化项。
为了能够很好的去除图像中的噪声影响，通常假设图像的先验知识为全局平滑的。文献[32]中提出了一种更为成功的正则化方法，称为总变差（Total Variation，TV）法。该方法通过在L1范数下计算图像梯度来衡量图像总的变化，并对图像总的变化量进行限制，如下式：
(3.10)
其中 是梯度算子。总变差法最大的优势在于能够在抑制重建图像中的噪声的同时，很好的保留图像的边缘细节信息。
在总变差正则化的基础上，文献[27]提出了一种基于双边滤波器（BTV）的正则化算法，不仅在计算上易于实现，而且能够保持边缘信息。其正则化函数形式写为：
(3.11)
其中 和 为矩阵算子，表示将*在水平和垂直方向分别平移l和k个像素值， 代表了*在不同尺度上的差分；α为权重系数(0<α<1)，通过调整α的值，能够实现正则化的权重系数在空域上递减。由此可见，在BTV正则化项中，同时引入了值域和空域上的双重约束。在图像内容的边界处，滤波窗口会沿着边沿方向选取算子的大小，选取合适的数据进行正则化求解。
当m=0,l=1,α=1或m=1,l=0,α=1时，(3.11)式就变为了
(3.12)
其中 表示一阶微分。在[33]中证明了式(3.12)是对TV正则化的一种计算效率更高的可靠估计。BTV正则化可看成其它正则化的一般形式。
结合上一节中给出的一阶范数重建算法和本节所讨论的BTV正则化算子，我们得到代价方程如下：
(3.13)
由于一阶范数的鲁棒性，式(3.13)所代表的就是一种鲁棒的重建算法。此最小化问题能够通过利用最陡下降算法求解，得到求解公式如(3.14)，通过迭代求解最终可以 ……（未完，全文共93515字，当前仅显示16820字，请阅读下面提示信息。收藏《毕业论文：图像重建数学模型和超分辨率空域重建算法研究》）