PatchBatch:一种用于光流的批增强损失
本文提出了一种用于光流估计的基于 CNN 的贴片匹配方法,并介绍了适用于 Siamese 网络的新型阈值损失。实验证明我们的方法在精度和训练速度方面均明显优于现有方法,并提出了一种用于不同图像尺度的 CNN 特征计算方法。我们还探讨了评估面向光流贴片匹配应用的特征鲁棒性的新方法,证明了我们方法的领先性能。
Jul, 2016
本论文提出了一种基于 Patchmatch 的深度学习光流方法,通过传播和局部搜索获得高精度结果,并提出了一种新的反向传播方法来减少计算复杂度,实验证明该方法在 KTTI2015 基准测试上排名第一,在 Sintel 干净基准测试上排名第二,以较少的内存消耗在高分辨率数据集 DAVIS 上得到良好的细节保留结果。
Apr, 2022
本篇论文尝试解决计算机视觉中 transformers 架构应用在视频数据时遇到的问题,通过引入可学习的混合函数 PatchBlender,使得 transformers 成功编码视频数据的时间组成部分并提升了基础模型性能。
Nov, 2022
本研究提出了一种新的批标准化方法(PBN),通过在空间维度上将批次的特征图拆分为不重叠的小块来独立归一化每个小块,从而利用图像局部块之间的差异来增强模型参数的鲁棒性,可以解决计算机视觉任务中,跨域数据的鲁棒性问题,包括分类,目标检测,实例检索和语义分割等任务。
Apr, 2023
本文提出一种新颖的数据关联方法,通过引入一个两阶段的学习方案来匹配检测对,第一阶段使用 Siamese 卷积神经网络来学习编码两个输入图像 patch 之间的局部空时结构描述符。第二阶段使用由比较的输入 patch 的位置和大小导出的一组上下文特征,通过梯度提升分类器与 CNN 输出结合来生成最终匹配概率,表明即使简单高效的跟踪器也可能在我们学习的匹配概率上表现优异,已公开可用的序列结果表明我们的方法达到了多人跟踪的最新标准。
Apr, 2016
本文提出了一种金字塔渐变匹配方法,可为高精度和高效的光流估计提供密集匹配,并在强健匹配和离群值过滤方面进行了特殊增强,通过在 MPI Sintel 数据集上的表现显示出高效和强健。
Apr, 2017
本文研究了深度学习在光流估计中的鲁棒性,并表明对小于 1%的图像区域进行扰动就可以大大影响光流估计,对编码器 - 解码器体系结构的网络影响很大,而对空间金字塔体系结构的网络则较小,并且通过实验演示了这种攻击是实用的。
Oct, 2019
本研究提出了一种基于卷积神经网络的新方法,利用 patch-craft frames 的概念在视频去噪方面引入自相似性,从而大幅提高了去噪性能。
Mar, 2021
本文提出了一种学习匹配 - 优化框架 GMFlowNet,将全局匹配引入到直接回归之前,同时引入了基于补丁的重叠注意力来提高匹配质量,实验结果表明 GMFlowNet 在标准基准上性能最佳,能够有效处理大运动和无纹理区域的挑战。
Mar, 2022
提出了一种适用于手持相机拍摄的多曝光图像融合的混合合成方法,该方法结合了光流和 PatchMatch 对图像运动、失配问题进行处理,能够有效地去除模糊或幽灵伪影等缺陷并保持原有的曝光信息。实验证明,该方法在处理静态 / 动态、室内 / 室外、白天 / 黑夜等复杂场景中具有较高的有效性和鲁棒性。
Apr, 2023