### ICCV 2023:Parallax-Tolerant Unsupervised Deep Image Stitching #### 概述 本文介绍了一种新的图像拼接方法——Parallax-Tolerant Unsupervised Deep Image Stitching(UDIS++),该方法针对现有的图像拼接技术在处理大视差图像时遇到的问题进行了改进。UDIS++是一种无监督学习方法,能够在无需人工标记的情况下学习到鲁棒性强、适应性好的图像特征,从而实现高质量的图像拼接效果。 #### 背景与挑战 传统的图像拼接技术通常依赖于几何特征(如点、线、边缘等),这些手工设计的特征对于具备足够几何结构的自然场景表现良好。然而,在纹理较少或视差较大的情况下,传统方法的表现就会受到影响。例如,当面对大量视差时,基于学习的方法可能会模糊视差区域;而在低纹理场景下,传统的基于几何特征的方法则可能因缺乏足够的几何特征而失败。 #### 方法论 为了克服上述问题,研究团队提出了UDIS++,一种能够容忍视差变化的无监督深度图像拼接技术。该技术主要分为以下几个步骤: 1. **灵活的图像配准**:UDIS++通过一种从全局同构变换到局部薄板样条运动的鲁棒且灵活的配准方式来建模图像对齐过程。这种配准方法可以为重叠区域提供精确的对齐,并通过联合优化对齐和失真来保持非重叠区域的形状。 2. **增强的迭代策略**:为了提高模型的泛化能力,UDIS++还设计了一个简单但有效的迭代策略来增强配准适应性,尤其是在跨数据集和跨分辨率的应用中。 3. **消除视差伪影**:UDIS++进一步采取措施来消除视差伪影,确保最终的拼接结果既准确又自然。 #### 实验与验证 研究团队利用了UDIS-D数据集中的两个具体案例来验证UDIS++的有效性和优越性: 1. **大视差案例**:在这个案例中,研究人员展示了UDIS++如何有效地处理具有大视差的图像,相比于之前的方法(例如UDIS),UDIS++不仅没有模糊视差区域,而且还保持了高清晰度和连贯性。 2. **低纹理场景案例**:另一个案例则聚焦于低纹理场景下的图像拼接。与传统方法(如LPC)相比,UDIS++能够在缺乏足够几何特征的情况下成功地完成拼接任务,这得益于其强大的自适应学习能力和对复杂场景的理解。 #### 结论与展望 UDIS++作为一种新的图像拼接技术,不仅克服了现有方法在处理大视差和低纹理场景时的局限性,而且还在提高图像拼接质量方面取得了显著的进步。随着未来对这一领域研究的深入,预计UDIS++将在更多实际应用场景中发挥重要作用,如虚拟现实、自动驾驶等领域。此外,UDIS++的成功也为后续的研究提供了有价值的参考方向,即如何结合深度学习技术和传统几何特征提取方法来解决更广泛的实际问题。
2025-03-26 18:28:37 9.18MB 论文
1
领域自适应深度网络压缩 提供ICCV 2017 ,可在找到海报。 也可以使用。 如何运行tensorflow代码 该示例是在简单的非域转移简单实验上完成的。 我们在MNIST数据集上从头开始训练LeNet网络,然后使用SVD基线或我们提出的DALR方法压缩网络。 示例代码在jupyter笔记本中给出。 cd code/tensorflow jupyter notebook Experiment_LeNet_MNIST.ipynb 如何运行Matlab代码 可以从下载示例网络,然后将其复制到新文件夹“ nets /”。 mkdir nets cd nets wget http://mmasana.foracoffee.org/DALR_ICCV_2017/birds_vgg19_net.mat 然后,可以通过在MatLab终端上调用“ mainScript_compress_DALR.m
2023-02-28 15:03:14 39.93MB JupyterNotebook
1
自导网络快速图像去噪 SGN的PyTorch实现以及给定噪声范围的估计PSNR 训练 我在Python 3.6和PyTorch 1.0环境上训练了此SGN。 培训策略与论文相同。 您可以使用以下脚本对自己的数据进行训练(请注意,您需要修改数据集路径): cd SGN python train.py or sh zyz.sh 测验 我使用ILSVRC2012验证集对4个NVIDIA TITAN Xp GPU进行了培训,并在1个TITAN Xp GPU上进行了测试。 详细信息显示在代码train.py 。 该演示来自SGN的ILSVRC2012验证集(mu = 0,sigma = 30,batchsize = 32、1000000次迭代)。 左:干净的图像(从COCO2014验证集中选择,COCO_val2014_000000264615.jpg) 中:加性高斯噪声+清晰图像 右
2022-12-15 22:52:09 2.47MB Python
1
TSM:高效视频理解的时移模块 @inproceedings{lin2019tsm, title={TSM: Temporal Shift Module for Efficient Video Understanding}, author={Lin, Ji and Gan, Chuang and Han, Song}, booktitle={Proceedings of the IEEE International Conference on Computer Vision}, year={2019} } [NEW!]我们更新了online_demo的环境设置,并且应该更容易设置。 检查文件夹尝试! [NEW!]我们已经在Kinetics上发布了预训练的光流模型。 我们相信预先训练的权重将有助于在其他数据集上训练两个流模型。 [NEW!]我们已经在NVIDIA Je
2022-11-24 18:46:41 194KB acceleration low-latency video-understanding tsm
1
一键爬取 ECCV & ICCV & CVPR & NeurIPS 论文并使用关键词筛选,只下载关键词筛选的文章 也能拿来爬别的,反正看完nips代码就会发现基本大同小异了 凑字数: 使用xpath解析某个节点下所有文本(包括该节点的文本和其所有子节点的文本):
2022-10-25 16:05:55 4KB 论文 爬取 CVPR
1
matlab合并代码窗口结构化森林 版本1.1 更新: 使用压缩来减小模型大小。 用Cython重写直方图功能以加快检测速度。 微调一些参数以稍微提高精度。 似乎Anaconda安装的libjpeg软件包在解码图像时存在一些错误。 解码结果与Matlab的imread输出结果不同。 因此,如果您使用Anaconda,则可以考虑卸载libjpeg,然后通过apt-get(对于Ubuntu)重新安装。 版本1.0 Piotr的ICCV论文“用于快速边缘检测的结构化森林”的Python实现。 性能几乎与Piotr的原始(Matlab)实现相同(在BSDS500上,Piotr的:[ODS = 0.738,OIS = 0.758,AP = 0.795,R50 = 0.923],我的:[ODS = 0.739,OIS = 0.759,AP = 0.796,R50 = 0.924])。 对于原始实现,请查看作者的网页:。 如何使用 平台:强烈建议使用Ubuntu 14.04 + Anaconda。 不过,我不使用任何平台相关的API。 因此,这些代码也应该在Windows / Mac OS X上也可
2022-05-15 10:13:24 20.66MB 系统开源
1
Charades对象检测数据集(ICCV 2017) 引文 如果您在研究中使用我们的数据集,请使用以下BibTeX条目。 @inproceedings{YuanyuanICCV2017, Author = {Yuan Yuan and Xiaodan Liang and Xiaolong Wang and Dit-Yan Yeung and Abhinav Gupta}, Title = {Temporal Dynamic Graph LSTM for Action-driven Video Object Detection}, Booktitle = {ICCV}, Year = {2017}, } 我们标记了Charades Validation视频集中的所有视频,可以从下载。 该中的注释是 。 总共有1812个视频被标记,平均每帧有8个框。 有
2022-05-04 16:30:06 4.73MB MATLAB
1
我们介绍了SinGAN,一个可以从单一自然图像中学习的无条件生成模型。我们的模型经过训练,能够捕捉图像内部patch的分布,然后能够生成与图像具有相同视觉内容的高质量、多样化的样本。SinGAN包含一个完全卷积的GANs金字塔,每个GANs负责学习图像中不同尺度上的patch分布。这允许生成具有显著可变性的任意大小和高宽比的新样本,同时保持训练图像的整体结构和精细纹理。与以往的单一图像GAN方案相比,我们的方法不仅限于纹理图像,而且没有条件(即从噪声中生成样本)。用户研究证实,生成的样本通常被混淆为真实的即时消息。我们说明了SinGAN在图像处理任务中的广泛应用。 ———————————————— 版权声明:本文为CSDN博主「Asure_AI」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/Asure_AI/article/details/102869213
2022-05-03 22:08:03 124.07MB ICCV GAN 对抗生成网络 代码
1
此仓库实现了我们的ICCV论文“用于3D人体姿势估计的Cross View融合” 快速开始 安装 克隆此仓库,我们将克隆多视图姿势的目录称为$ {POSE_ROOT} 安装依赖项。 下载pytorch imagenet预训练的模型。 请在$ {POSE_ROOT} / models下下载它们,并使它们看起来像这样: ${POSE_ROOT}/models └── pytorch └── imagenet ├── resnet152-b121ed2d.pth ├── resnet50-19c8e357.pth └── mobilenet_v2.pth.tar 可以从以下链接下载它们: : 初始化输出(训练模型输出目录)和日志(张量板日志目录)目录。 mkdir ouput mkdir log 并且您的目录树应该像这样
2022-04-21 20:19:14 84KB Python
1
EdgeConnect:具有对抗性边缘学习的生成图像修复 | 介绍: 我们开发了一种新的图像修补方法,可以更好地再现填充区域,这些填充区域显示出精细的细节,这是受我们对艺术家工作方式的理解所启发:首先是线条,然后是颜色。 我们提出了一个两阶段对抗模型EdgeConnect,该模型由一个边缘生成器和一个图像完成网络组成。 边缘生成器使图像的缺失区域(规则的和不规则的)产生幻觉,并且图像完成网络使用幻觉的边缘作为先验来填充缺失区域。 该系统的详细说明可以在我们的找到。 (a)输入缺少区域的图像。 缺失的区域以白色表示。 (b)计算的边缘遮罩。 黑色绘制的边缘是使用Canny边缘检测器(针
1