一.简介

图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，接可以看做是场景重建的一种特殊情况，其中图像仅通过平面单应性进行关联。图像拼接在运动检测和跟踪，增强现实，分辨率增强，视频压缩和图像稳定等机器视觉领域有很大的应用。图像拼接的输出是两个输入图像的并集。通常用到四个步骤：（1）特征提取(Feature Extraction)：检测输入图像中的特征点。（2）图像配准(Image Registration)：建立了图像之间的几何对应关系，使它们可以在一个共同的参照系中进行变换、比较和分析。（3）图像变形(Warping)：图像变形是指将其中一幅图像的图像重投影，并将图像放置在更大的画布上。（4）图像融合(Blending)：图像融合是通过改变边界附近的图像灰度级，去除这些缝隙，创建混合图像，从而在图像之间实现平滑过渡。混合模式(Blend modes)用于将两层融合到一起。

二.实现方法

（1）用SIFT提取图像中的特征点，并对每个关键点周围的区域计算特征向量。

（2）在分别提取好了两张图片的关键点和特征向量以后，可以利用它们进行两张图片的匹配。在拼接图片中，可以使用Knn进行匹配，但是使用FLANN快速匹配库更快，图片拼接，需要用到FLANN的单应性匹配。

（3）单应性匹配完之后可以获得透视变换H矩阵，用这个的逆矩阵来对第二幅图片进行透视变换，将其转到和第一张图一样的视角，为下一步拼接做准备。

（4）透视变化完后就可以直接拼接图片了，将图片通过numpy直接加到透视变化完成的图像的左边，覆盖掉重合的部分，得到拼接图片，但是这样拼接得图片中间会有一条很明显的缝隙，可以通过加权平均法，界线的两侧各取一定的比例来融合缝隙，速度快，但不自然。或者羽化法，或者拉普拉斯金字塔融合，效果最好。在这里用的是加权平均法，可以把第一张图叠在左边，但是对第一张图和它的重叠区做一些加权处理，重叠部分，离左边图近的，左边图的权重就高一些，离右边近的，右边旋转图的权重就高一些，然后两者相加，使得过渡是平滑地，这样看上去效果好一些，速度就比较慢。

三、图像拼接的基本流程

（1）图像预处理：对原始图像进行直方图匹配、平滑滤波、增强变换等数字图像处理的基本操作，为图像拼接的下一步作好准备。

（2）图像配准：图像配准是整个图像拼接流程的核心，配准的精度决定了图像的拼接质量。其基本思想是：首先找到待配准图像与参考图像的模板或特征点的对应位置，然后根据对应关系建立参考图像与待配准图像之间的转换数学模型，将待配准图像转换到参考图像的坐标系中，确定两图像之间的重叠区域。精确配准的关键是寻找一个能很好描述两幅图像转换关系的数据模型。

（3）图像合成：确定了两幅图像之间的转换关系模型，即重叠区域后，就需要根据重叠区域的信息将待拼接图像镶嵌成一个视觉可行的全景图。由于地形存在微小差别或拍摄条件不同等因素造成图像灰度（或亮度）差异，或者图像配准结果仍存在一定配准误差，为了尽可能地减少遗留变形或图像间的亮度（或灰度）差异对镶嵌结果的影响，就需要选择合适的图像合成策略。