应用小波变换进行图像融合的原理是将融合规则应用到原始图像的小波变换的低频分量和高频分量中。在一幅图像的小波变换中，绝对值较大的小波系数对应于边缘这些较为显著的特征，所以绝大部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数，也就是小波变换空间矩阵3个方向上的高频系数，从而达到保留图像边缘的目的。高频系数的选择对于保留图像的边缘特征具有非常主要的作用，但低频系数决定了图像的轮廓，正确选择低频系数对提高合成图像的视觉效果具有举足轻重的作用^[5]。

图像融合的评价指标如表1所示。

表1 图像融合的评价指标
Tab.1 Evaluation indexes for image fusion performance

小波变换的固有特性使其在图像处理中有如下优点：即完善的重构能力，保证信号在分解过程中没有信息损失和冗余信息；把图像分解成平均图像和细节图像的组合，分别代表了图像的不同结构，因此容易提取原始图像的结构信息和细节信息。小波分析提供了与人类视觉系统方向相吻合的选择性图像。

基于小波变换的融合算法是对图像进行小波分解，以得到图像的高低频信息，作为后期目标判决的依据，小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域，在不同的频率域应用不同的选择规则，得到合成图像的多分辨小波分解，从而在合成图像中保留原图像在不同频率域的显著特征^[6-7]。基于小波变换的图像融合算法流程图如图1所示，主要步骤为：

1）对2张同分辨率的多聚焦灰度图像Image A，Image B进行几何精确配准；

2）选取合适的小波基以及分解层数，对图像Image A，Image B进行多层小波分解，获取各自的小波分解系数；

3）根据低频分量和高频分量的特点，设计小波系数的融合规则，比如可以对小波系数进行取最大值或者求方差或是结合各种规则的改进型等；

4）对融合后的小波分解系数经过小波逆变换，重构得到融合图像Image F。

图1 基于小波变换的融合算法流程图
Fig.1 Flow chart of fusion algorithm based on wavelet transform

根据上述步骤可以对多焦距图像进行融合。在融合算法中，对原始多焦距灰度图像进行小波分解，这里就存在选取合适小波基以及分解层数。不同的小波基的选择对最后分解的结果有很大影响，并且小波变换的分解层次并不是越多越好，本文选择Matlab函数库中的DWT2小波基函数并对小波基进行4层分解。

图像的融合规则是图像融合的核心，方法与规则的优劣直接影响融合的速度与质量。在建立融合图像的每个小波系数时，必须确定哪幅源图的小波系数对融合有利，这个信息将保留在融合决策图中。由上述图1可知，融合规则在融合处理中扮演了一个重要角色，在融合过程中融合规则精确地控制着融合算子并生成新的小波分解系数。

规则一：局部方差法准则

在领域W中，图像I以为中心点的局部方差

式中：μ为图像I的均值；M，N分别为局部区域的行数和列数，这里取局部区域为3×3。

基于局部方差法的融合方式常用的方法是选择法，即通常说的局部方差取大法。方差选择法的融合规则：

式中： 为图像小波系数；下标l为分解尺度；上标d=H, V, D分别为水平、垂直及对角高频分量。

如果图1中Image A, Image B直接使用局部方差法进行融合，局部方差相差较大时，采用局部方差取大法能够比较完整的存储图像的微小细节。一旦局部方差相差很小时，局部方差取大法会使图像细节失真^[8]。

规则二：系数绝对值取最大法准则

该融合规则适合亮度与对比度比较高的源图像且高频成分比较丰富，否则在融合图像中只保留一幅源图像的特征，其他的特征被覆盖。小波变换的实际作用是对信号解相关，并将信号的全部信息集中到一部分具有大幅值的小波系数中。这些大的小波系数含有的能量远比小系数含有的能量大，从而在信号的重构中，大的系数比小的系数所占的权重更大^[9]。本文算法提出的规则：最大系数法与方差法准则。

使用规则一对源图像小波分解后高频成分不丰富的情况存在重构后图像信息熵值较低，针对这一问题，本文结合规则二解决了高低频成分分布不均衡带来的图像融合效果欠佳的问题，从而提出了一种最大系数法与方差法结合的图像融合算法。

由于图像的像素特征往往不是由单一的低频成分或是高频成分所能表征的，而是由某一平均范围的低频成分叠加高频成分共同来更为精确地表达图像的真实面貌，同时，通常图像待融合区域内的各像素之间有较强的相关性，因此，基于像素的融合规则带有片面性，而基于最大系数法与方差法的融合方式可以克服这一缺点，获得更好的视觉特性和融合效果。最大系数法与方差法准则融合规则可将全部图像的最大系数、方差、梯度等作为特征算子。

设参与融合的源图像A，B，融合后的结果为F。首先分别计算源图像A，B的区域梯度，区域M的大小为3×3的小窗口。假设AAN(i,j)，BAN(i,j)分别代表A，B的点p(i,j)低频系数；FAN(i,j)表示融合图像F的点p(i,j)的低频系数

计算加权系数

计算得到高频成分的融合规则

计算得到低频成分的融合规则

综合式（7）和式（8），得到源图像A和源图像B在点pi, j方差平均后的高频系数，以及得到图像A和图像B在点pi, j取最大系数的低频系数。

这样就完成了多分辨率下的图像融合，小波分解系数在有限的算法运行时间范围内拟合程度越高，图像平滑的程度越高，视觉效果越好，融合整体效果得到改善越大，当然图像融合的各项评价指标表现的越好，最后对融合后的子带系数进行反变换得到融合后的图像质量越好。

本文所讨论的融合算法是针对静态图像的，以相同物体在相同距离上用不同焦距进行拍摄的情况，融合目的是去除焦点不同对图像的影响，提高图像的清晰度。同一场景的不同传感器得到的图像，其低频系数大小差不多，但高频细节部分却存在显著差异^[10]。因此，基于小波变换的图像融合算法的研究重点多集中在高频域部分。对实验用的图像作以下假设：所用图像均是经过预处理（滤波、对准）的、大小一致的灰度图像。

为了验证基于最大系数法与方差法准则的图像融合算法的有效性，使用高速摄像机的不同焦距拍摄图像Image A，Image B及Image A使用f/4.0光圈，70 mm焦距，对焦focus值为1900拍摄，Image B使用f/4.0光圈，70 mm焦距，对焦focus值为1 600拍摄，分别得到多聚焦灰度图像，然后截取662×662大小的灰度图像进行严格配准得到实验待融合图像，通过使用Matlab R2016a对提出的最大系数法与方差法准则进行算法仿真实验，读取待融合图像Image A，Image B，得到4层小波分解图像和融合后的图像，算法流程图如图2所示。其中详细算法步骤如下：

1)采用Mallat快速算法对两幅多聚焦图像分别进行4层小波分解，由上面讨论可知可得到 (3×3+1)个图像分量，包括 3×3个高频分量和1个低频分量^[11-12]；

2)在对多聚焦图像进行小波变换后，将2幅图像对应的低频分量和高频分量选用上面介绍的融合规则进行融合，得到各个对应分量的融合结果；

3)将各个对应分量的融合结果进行小波逆变换得到最后的融合图像。

为了对使用每种融合规则的融合图像质量进行客观评价，采用信息熵、平均梯度、方差性能指标来进行对比分析，此外，还综合每种融合规则的算法效率来分析本文提出的融合规则的有效性^[13]。

图2 最大系数法与方差法准则算法流程图
Fig.2 Flow chart of maximum coefficient method and variance method criterion algorithm

图3为待融合多聚焦图像，其中图3（a）为背景清晰，目标物体（右侧钢架）不清晰的图像，图3（b）为背景不清晰，目标物体清晰的图像。图4为基于规则一的融合后图像，图5为基于规则二的融合后图像，图6为使用本文算法提出规则的融合后图像。

观察图4、图5及图6，并与原始图像进行比较，可以看出：各融合结果图在整体分辨率上比融合前的原始图像均有明显的提高，3种融合规则的融合结果均对原始图像信息有较好的保留和增强，目标物体的右侧钢腿边界区分清楚，钢腿上面圆孔清晰可见，和原始图像中目标物体的信息基本保持一致，融合后使图像整体更加明确和丰富。

图3 待融合的多聚焦图像
Fig.3 Multi-focus images under fusion

图4 方差法融合规则
Fig.4 Variance method fusion rule

图5 系数绝对值取最大规则
Fig.5 Maximum rule taking absolute value of coefficient

图6 本文融合规则
Fig.6 Fusion rule proposed in this paper

为进一步客观评价各融合规则的融合性能，采用基于统计学方法的评价方式对融合性能进行分析与评价^[14-15]。采用常用的信息熵、平均梯度、方差3项指标来客观评价融合图像，而且该3项指标越大越好，具体统计结果见表2。

表2 融合效果客观评价
Tab.2 Objective evaluation of fusion effect

由表2可见，在反映图像灰度离散程度的方差指标中， 采用规则二的融合图像的方差差最大，但是规则一明显较小；本文融合规则的方差大小非常接近规则二，说明采用本文融合规则融合后图像信息较为丰富；3种规则的平均梯度差异显著，其中规则一的平均梯度明显偏小，而本文融合规则的平均梯度最大，说明本文融合规则的融合图像反映微小细节的能力较强，图像质量最好；在反映图像信息量的指标信息熵中，规则一明显偏小，本文融合规则最佳。由此可见，尽管都采用了基于小波变换的融合算法，但采用的融合规则和融合算子不同，其融合性能也大不相同，规则一各项指标均较低。因为规则一算法复杂度较低，算法运行平均时间虽然仅为0.438 313 s，但是图像融合效果各项指标达不到最优，尤其是针对图像小波分解后高频成分较多时得到的图像融合效果各项指标表现会更差。