AAAIDec, 2023

实时渲染的低延迟时空超采样

PDF
TL;DR该论文通过将帧超采样和外推方法整合到一个统一的框架中，提出了一种新颖的空时超采样方法（Space-time Supersampling），能够在较低的延迟下提高整体质量。经过广泛实验证明，该方法在视觉保真度方面优于最先进的方法，而且性能仅需 4 毫秒，比传统的两阶段流程节约了高达 75% 的时间。
real-time renderingframe supersamplingextrapolationspace-time supersamplingvisual fidelity
发现论文，激发创造
  • 时空感知多分辨率视频增强

    本文提出了一个名为 STARnet 的模型，旨在通过同时提高空间分辨率和插值帧率来解决空时超分辨率问题，并利用时间和空间之间相互信息关系的优势，提供更加准确的运动信息和像素对齐。该模型能够有效提高空时、空间和时间视频超分辨率的性能。

    Mar, 2020

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • 通过交替优化实现可解释的视频超分辨率

    本文提出了一种可行的空时视频超分辨率（STVSR）框架，以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战，提供优异的定量测量和视觉质量表现。

    Jul, 2022

  • 透过循环隐空间传播实现高效视频超分辨率

    本文提出一种高效的视频超分辨率算法，通过引入高维潜在状态来隐式地传播帧之间的时序信息，以解决复杂的运动补偿问题和高计算负荷的限制，并且在超过 70 倍加速的同时，优于现有的最先进方法 DUF。

    Sep, 2019

  • FuseSR: 通过高效多分辨率融合实时渲染的超分辨率

    利用低成本高分辨率辅助 G 缓冲作为额外输入，我们提出了一种高效有效的超分辨率方法，通过多分辨率级别上的特征对齐和融合，能够以实时性能在 4K 分辨率上以 4 倍甚至 8 倍分辨率进行时间连贯的重建，相较于现有方法具有显著提高的质量和性能提升。

    Oct, 2023

  • 一种新颖游戏数据集上高效的神经超采样

    我们提出了一种新颖的神经算法，用于超采样渲染内容，比现有方法高效四倍，并保持相同的准确性水平。此外，我们还引入了一个新的数据集，该数据集提供了运动向量和深度等辅助模态，使用不同分辨率的图形渲染特征，如视口抖动和多级纹理偏差。我们相信，这个数据集填补了当前数据集领域的空白，并可以作为一个有价值的资源，用于帮助衡量领域进展，并推动超分辨率技术在游戏内容中的最新进展。

    Aug, 2023

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • 跨尺度和跨维度：使用深度内部学习进行时间超分辨率

    本文提出了一种基于 Deep Internal Learning 的 Temporal Super-Resolution 方法，利用小空间时间片段内部的强烈重复性，从而在不使用任何其他数据集的情况下，实现了复杂视频的零成本 Temporal Super-Resolution，有效消除运动模糊和运动混叠效果，并超越了以往依赖于外部数据集进行训练的监督方法。

    Mar, 2020

  • 通过隐式扩散实现图像超分辨率：一种基于采样空间混合模型的专家和频率增强解码器方法

    通过使用扩展的预训练文本图像模型进行扩散先验处理，本研究提出了基于频率补偿模块和样本空间多专家混合（SS-MoE）的潜在空间方法，以提高图像超分辨率的性能。

    Oct, 2023

  • 多对多光滑投影和空间选择性细化的视频帧插值

    我们提出了一个全可微的 Many-to-Many（M2M）splatting 框架，通过估计多个双向流来直接向前扭曲像素到所需的时间步骤，实现了多对多的覆盖像素的效果，然后引入了一个灵活的空间选择性优化（SSR）模块来提高插值精度，从而提高了视频插值的效率和质量。

    Oct, 2023