Jul, 2023

ExWarp：基于外推和变形的高频显示器时间超采样

PDF
TL;DR高频率显示在视频游戏和虚拟现实应用中越来越受欢迎。然而，由于底层图形处理器无法以这种高速连续生成帧，这导致了不够流畅和响应的体验。本文提出了一种基于强化学习的方法，即 Exwarp，以智能地在几乎不降低感知图像质量的情况下，在 DNN 基于插值和速度更快的基于扭曲的方法之间进行选择，使帧率提高 4 倍。
high-frequency displaysframe rateextrapolationvisual artifactsreinforcement learning
发现论文，激发创造
  • 运动模糊视频插值和外推

    本研究提出了一种新的框架，该框架可以通过光流估计学习引起模糊的像素级运动，然后将已解码的特征变形以估算的光流预测多个清晰的帧，从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。

    Mar, 2021

  • GFFE: 低延迟实时渲染的无 G 缓冲帧推断

    提出了一种不需要额外延迟的新的帧外推方法，称为 GFFE，利用新颖的启发式框架和高效的神经网络，在实时情况下生成新的帧，并成功解决了双重插值和依赖 G-buffer 的帧外推方法所存在的问题。

    May, 2024

  • 实时渲染的低延迟时空超采样

    该论文通过将帧超采样和外推方法整合到一个统一的框架中，提出了一种新颖的空时超采样方法（Space-time Supersampling），能够在较低的延迟下提高整体质量。经过广泛实验证明，该方法在视觉保真度方面优于最先进的方法，而且性能仅需 4 毫秒，比传统的两阶段流程节约了高达 75% 的时间。

    Dec, 2023

  • 通过视频帧插值优化视频预测

    通过基于已经训练好的可微分视频帧插值模块的优化框架进行视频预测，不需要训练数据集也不需要附加信息，并且在诸多数据集上取得了良好的预测结果。

    Jun, 2022

  • 无时间先验条件的视频帧插值

    本文是一篇关于计算机视觉中视频插帧的研究，提出了一种基于不确定帧率和曝光时间的一般情况下视频插帧问题的解决方案。使用四个连续的清晰帧或两个连续的模糊帧，通过得出一般曲线运动轨迹公式的方法解决了现有视频帧插值方法只适用于特定时间先验的问题，并通过相邻运动轨迹中的约束定义了一种新的光流细化策略以提高插值结果。实验表明，一个训练良好的模型足以在复杂的实际情况下合成高质量的慢动作录像。

    Dec, 2021

  • 一次性完成：具有高级运动建模的时间自适应多帧插值

    本研究提出一种真正的多帧插值器，它利用时间域的金字塔式网络一次性完成多帧插值任务，并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度，结果表明在 Adobe240 数据集上，所提出的方法生成视觉上令人满意的、时间上一致的帧，比当前最佳的即席方法在 PSNR 上提高 1.57db，模型体积减小 8 倍，速度快了 7.7 倍，并且可以轻松扩展以插入大量新的帧.

    Jul, 2020

  • 通过变形实现动画：一种高质量面部表情动画的高效方法

    提出了一种名为 ATW 的新型框架，其中包含一个新型两阶段神经网络生成器和一个称为 Animating Through Warping（ATW）的新型后处理模块，它具有高效的高分辨率面部动画生成能力。

    Aug, 2020

  • 时空视频推断

    该研究提出了一种结合新视角合成和视频预测的方法，称之为 “空间和时间的视频外推”。该方法利用自我监督和空间和时间的综合信号，实现了在室内和室外真实环境数据集上优于或可与多种先进方法相媲美的性能。

    May, 2022

  • 使用 Warping NODEs 生成连续逼真动画的图像到 GIF 转换器

    本文提出一种新的框架，基于微分方程的连续空间变换，利用生成对抗网络（GAN）和 $L_2$ 损失在不同的训练环境下生成平滑流畅的动画（视频帧插值）。

    May, 2022

  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019