对比对应关系：利用对应关系损失的视频预测

CVPRApr, 2021

对比对应关系：利用对应关系损失的视频预测

Comparing Correspondences: Video Prediction with Correspondence-wise Losses

Daniel Geng, Max Hamilton, Andrew Owens

TL;DR本文提出了一种简单的改变现有图像相似度度量标准的方法，通过使用光流匹配图像并测量对应像素的视觉相似度来使其更加鲁棒性地处理对象位置误差，并应用于各种视频预测任务和视频内插任务中，实现了简单的网络结构，取得了强大的表现。

Abstract

image prediction methods often struggle on tasks that require changing the positions of objects, such as video prediction, producing blurry images that average over the many positions that objects might occupy. I

image prediction optical flow video prediction visual similarity network architecture

发现论文，激发创造

自我监督学习的跨像素光流相似度

采用动态光流来监督静态图像的表示，通过学习嵌入像素以达到其光流向量之间的相似性，我们设计了一种无需手工标注的学习卷积神经图像表示的新方法，这个新方法优于以往的运用动态光流学习卷积神经网络的方法，并在语义分割等领域首屈一指。

Jul, 2018

学习准确的密集对应关系及其可信度

提出了一种基于概率的方法，通过学习流场预测和不确定性，建立两幅图像间的密集对应关系，同时估计像素级置信度和可靠性，通过受限混合模型等方法建立更好的流预测和异常点建模，通过实验证明该方法在多个具有挑战性的几何匹配和光流估计数据集上具有最先进的效果，并在姿态估计领域证明了它的实用性。

Jan, 2021

基于增强相关匹配的视频帧插值

该研究提出了一种基于 DNN 的新框架，名为 ECM-VFI，用于高分辨率视频帧插值，包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示，该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优，并且具有最少的模型参数。

Nov, 2021

学习像素级视频对应的细粒度特征

通过自我监督学习并结合对真实世界视频和合成视频的特征学习，提出了一种针对像素级对应的特征学习方法，采用对抗性学习方案增强特征的泛化能力，并采用粗到细的框架追求高计算效率，在对应任务上的实验结果表明，该方法在准确度和效率方面均优于现有方法。

Aug, 2023

通用对应网络

本文提出了一种深度学习框架，用于准确的视觉对应，并证明了其在几何和语义匹配中的有效性，提出了一种卷积空间变换器来模仿传统特征（如 SIFT）中的补丁归一化，广泛的 KITTI，PASCAL 和 CUB-2011 数据集的实验表明，与使用手工构建或学习特征的先前作品相比，我们的特征具有显着优势。

Jun, 2016

DGC-Net：密集几何对应网络

本研究针对两幅图像之间密集像素对应估计的挑战进行探讨，提出了一种基于粗到细的 CNN 框架，能够扩展光流方法的优势，解决大范围变换并提供密集和亚像素准确估计的问题，并在相对摄像机姿态估计问题上表现优异。

Oct, 2018

深度多尺度视频预测：超越均方误差

通过卷积网络、对抗训练和特征学习等策略，实现了未来图像预测

Nov, 2015

学习阴影对应以进行视频阴影检测

介绍了一个新的视频阴影检测方法 SC-Cor，通过加强阴影区域的像素级相似性来提高帧之间的一致性，并且不需要强制对应标签。此外，该方法考虑了阴影区域内部的可分离性，易于与现有算法集成，且实验结果表明其性能比先前的最优方法更好。

Jul, 2022

重新思考自监督对应关系学习：基于视频帧层面的相似性视角

通过 Video Frame-level Similarity (VFS) 学习实现物体跟踪和视频对象像素分割的通用对应表示

Mar, 2021

从少量匹配学习光流

本文研究了一种神经网络模型的新方法，使用稀疏相关物体代替密集相关物体，以更高效且准确地估算像素位移并降低计算成本和内存使用。

Apr, 2021