CVPRNov, 2016

图像内容变化的深层特征插值

PDF
TL;DR本文提出了 Deep Feature Interpolation（DFI）作为高分辨率图像转换的新数据驱动基准，只依赖于从预训练的卷积神经网络中进行深度卷积特征的简单线性插值。我们发现，虽然 DFI 非常简单，但是可以执行高级语义变换，如 “变老 / 年轻”，“加眼镜”，“加微笑” 等，在某些情况下甚至可以匹配或优于最先进的技术。DFI 因此可以作为评估更复杂算法的新基线，并提供了一个实际的答案，回答了在深度学习的崛起中哪些图像转换任务仍然具有挑战性的问题。
发现论文，激发创造
  • 连续图像效果过渡的深度网络插值

    本文提出了深度网络插值（DNI）的方法，应用于多个低级图像任务，包括图像恢复、图像到图像的转换和样式迁移，达到了多样图像效果的平滑控制，并从学习过滤器的角度探究了网络插值机制。

    Nov, 2018

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • 利用空间融合卷积网络和面部关键点实现伪装人脸识别（DFI）

    本文介绍了一种基于深度学习的面部关键点检测框架，利用两个注释的面部关键点数据集进行训练，进而实现伪装面部识别，并通过与其他深度网络的比较证明了其优越性，同时还通过与最新面部伪装分类方法的比较证明了其分类性能的有效性。

    Aug, 2017

  • 基于可变形卷积和粗到细的三维卷积神经网络提升视频帧插值

    本研究提出了一种使用可变形卷积的视频帧插值方法，使用粗到细的 3D CNN 增强多流预测，实验结果表明，该方法的干涉性能优于其他现有算法，最高可以获得 0.19dB 的 PSNR 增益。

    Feb, 2022

  • 增强型深度动画视频插帧

    本研究提出使用 AutoFI 进行深度动画视频插值的方法，不断优化框架，提高了训练数据线性运动假设的准确性并使用 SktFI 进行后期精细处理，大幅提升了生成动画的视觉效果。

    Jun, 2022

  • 图像扩散中的紧急对应

    本文提出 DIffusion FeaTures (DIFT) 方法来确立图像之间的对应关系，在稳定扩散的情况下，DIFT 均能够在语义、几何和时间上优于弱监督方法以及其他对照组，尤其是在 SPair-71k 基准测试中，DIFT 相对于 DINO 和 OpenCLIP 的准确率分别提高了 19 个和 14 个点，即使在总体性能上表现相当的情况下，在 18 个类别中有 9 个可以超越最先进的监督方法。

    Jun, 2023

  • 深度特征分解用于概念发现

    本文提出深度特征分解（DFF）方法，可用于图像内的语义概念定位、特征空间内的层次聚类结构检测和图像的共同分割及共同定位。研究结果表明，DFF 在这些任务上表现出色。

    Jun, 2018

  • 视频帧插帧中的不连续性探索

    本文提出了三种技术来加强现有深度学习视频插帧 (VFI) 架构对不连续运动的鲁棒性。第一种是一种称为 figure-text mixing (FTM) 的新颖数据增强策略，无需额外数据集便可在训练时使模型学习不连续运动。第二种是一种简单而有效的模块，用于预测称为 discontinuity map (D-map) 的地图，密集地区分持续和不连续运动区域。最后，我们提出了损失函数，以对不连续运动区域进行监督。应用于各种先进的 VFI 网络，我们的方法显著提高了插帧质量，不仅适用于 GDM 数据集，还包括只包含连续运动的现有基准数据集，例如 Vimeo90K、UCF101 和 DAVIS。

    Feb, 2022

  • 用于轻量级图像超分辨的特征蒸馏交互加权网络

    本文介绍了一种轻量级、高效的特征蒸馏相互加权网络（FDIWN），其利用一系列经过特殊设计的特征洗牌加权组（FSWG）作为骨架，多个新颖的 Wide-residual Distillation Interaction Blocks（WDIB）组成 FSWG。通过引入 Wide Identical Residual Weighting（WIRW）单元和 Wide Convolutional Residual Weighting（WCRW）单元来实现更好的特征蒸馏。此外，提出了 Wide-Residual Distillation Connection（WRDC）框架和 Self-Calibration Fusion（SCF）单元，以更灵活、更高效地相互作用不同尺度的特征。大量实验证明，相较于其他模型，FDIWN 在模型性能与效率之间取得了良好的平衡。

    Dec, 2021

  • 用扩散模型在图像之间进行插值

    通过使用潜在扩散模型进行无监督插值，我们在降噪、文本嵌入和主题姿势上实现了一致而令人信服的图像插值，而传统的数量指标如 FID 则无法准确度量插值质量。

    Jul, 2023