### ICCV 2023：Parallax-Tolerant Unsupervised Deep Image Stitching #### 概述 本文介绍了一种新的图像拼接方法——Parallax-Tolerant Unsupervised Deep Image Stitching（UDIS++），该方法针对现有的图像拼接技术在处理大视差图像时遇到的问题进行了改进。UDIS++是一种无监督学习方法，能够在无需人工标记的情况下学习到鲁棒性强、适应性好的图像特征，从而实现高质量的图像拼接效果。 #### 背景与挑战 传统的图像拼接技术通常依赖于几何特征（如点、线、边缘等），这些手工设计的特征对于具备足够几何结构的自然场景表现良好。然而，在纹理较少或视差较大的情况下，传统方法的表现就会受到影响。例如，当面对大量视差时，基于学习的方法可能会模糊视差区域；而在低纹理场景下，传统的基于几何特征的方法则可能因缺乏足够的几何特征而失败。 #### 方法论 为了克服上述问题，研究团队提出了UDIS++，一种能够容忍视差变化的无监督深度图像拼接技术。该技术主要分为以下几个步骤： 1. **灵活的图像配准**：UDIS++通过一种从全局同构变换到局部薄板样条运动的鲁棒且灵活的配准方式来建模图像对齐过程。这种配准方法可以为重叠区域提供精确的对齐，并通过联合优化对齐和失真来保持非重叠区域的形状。 2. **增强的迭代策略**：为了提高模型的泛化能力，UDIS++还设计了一个简单但有效的迭代策略来增强配准适应性，尤其是在跨数据集和跨分辨率的应用中。 3. **消除视差伪影**：UDIS++进一步采取措施来消除视差伪影，确保最终的拼接结果既准确又自然。 #### 实验与验证 研究团队利用了UDIS-D数据集中的两个具体案例来验证UDIS++的有效性和优越性： 1. **大视差案例**：在这个案例中，研究人员展示了UDIS++如何有效地处理具有大视差的图像，相比于之前的方法（例如UDIS），UDIS++不仅没有模糊视差区域，而且还保持了高清晰度和连贯性。 2. **低纹理场景案例**：另一个案例则聚焦于低纹理场景下的图像拼接。与传统方法（如LPC）相比，UDIS++能够在缺乏足够几何特征的情况下成功地完成拼接任务，这得益于其强大的自适应学习能力和对复杂场景的理解。 #### 结论与展望 UDIS++作为一种新的图像拼接技术，不仅克服了现有方法在处理大视差和低纹理场景时的局限性，而且还在提高图像拼接质量方面取得了显著的进步。随着未来对这一领域研究的深入，预计UDIS++将在更多实际应用场景中发挥重要作用，如虚拟现实、自动驾驶等领域。此外，UDIS++的成功也为后续的研究提供了有价值的参考方向，即如何结合深度学习技术和传统几何特征提取方法来解决更广泛的实际问题。

图像拼接数据集，用于图像拼接算法测试

全景OpenCV 从stitch_final.py的文档中 用法：pythonitch_final.py -dest <目标文件名.jpg> 用法： （例子） ： 请将存储库克隆到工作文件夹。 执行以下命令 pythonitch_final.py images / destination.jpg 它将询问是否要修剪或旋转，请按照给定的指示进行操作。 图像将显示并保存到给定的目的地。 [理论等稍后添加]-维护中的回购...！ 上班的人，是吗？ :)

Dynamic video stitching via shakiness removing

运行平台VS2013+OpenCV2.4.8，运行通过。

Stitching 模块中对特征提取的封装解析 （以ORB 特性为例） OpenCV 中Stitching 模块（图像拼接模块）的拼接过程可以用PipeLine 来进行描述，是一个比较复杂的过程。在这个过程中，特征提取是重要的一个部分。 由于OpenCV 发展到了3.X 以后，Stitching 模块的相关函数进行了重新封装，所以对于学习研究造成了一定困难。这里通过解析代码，研究Stitching 模块中的特征提取部分，并且和直接进行特征提取的相关函数进行比对。

matlab全景图代码基于鲁棒弹性变形的视差图像拼接代码 图像拼接旨在以最低的计算成本生成高质量的全景图。一种基于鲁棒弹性变形的视差图像拼接方法，可以同时实现精确对齐和高效处理。给定图像之间的一组点匹配，解析变形构造函数以消除视差误差。 然后根据网格图像平面上计算的变形对输入图像进行扭曲。 无缝全景是通过直接重新投影扭曲的图像组成的。 技术：MATLAB、深度学习 完成时间：2017 年 5 月

https://www.pyimagesearch.com/2018/12/17/image-stitching-with-opencv-and-python/ 图像拼接 全景拼接

用surf进行图像拼接的程序示例， 结合OPENCV和C++实现的

Automatic Panoramic Image Stitching using Invariant Features 论文多图像拼接程序 可支持多图像自动拼接，可设置图像融合方式，全景图像融合