ICCVAug, 2023

一种新颖游戏数据集上高效的神经超采样

PDF
TL;DR我们提出了一种新颖的神经算法，用于超采样渲染内容，比现有方法高效四倍，并保持相同的准确性水平。此外，我们还引入了一个新的数据集，该数据集提供了运动向量和深度等辅助模态，使用不同分辨率的图形渲染特征，如视口抖动和多级纹理偏差。我们相信，这个数据集填补了当前数据集领域的空白，并可以作为一个有价值的资源，用于帮助衡量领域进展，并推动超分辨率技术在游戏内容中的最新进展。
real-time renderingvideo gamessupersamplingneural algorithmdataset
发现论文，激发创造
  • 基于深度 3D 模拟超分辨率的近实时面部动画

    本文通过神经网络模拟超分辨率框架，可以实现将低成本、实时物理模拟产生的面部表现有效、逼真地提升到接近高分辨率（我们例子中元素数量高出 26 倍）的参考质量，同时补偿了实时模拟的限制和成本削减近似的建模差异，不需要提供任何语义描述符或参数，除了实时模拟的结果。

    May, 2023

  • FuseSR: 通过高效多分辨率融合实时渲染的超分辨率

    利用低成本高分辨率辅助 G 缓冲作为额外输入，我们提出了一种高效有效的超分辨率方法，通过多分辨率级别上的特征对齐和融合，能够以实时性能在 4K 分辨率上以 4 倍甚至 8 倍分辨率进行时间连贯的重建，相较于现有方法具有显著提高的质量和性能提升。

    Oct, 2023

  • 大场景实时神经光栅化

    我们提出了一种逼真的实时小说视角综合（NVS）大场景的新方法，通过将中等质量的脚手架网格作为输入，学习神经纹理场和着色器以增强逼真感，同时使用标准图形管道进行实时渲染，我们的方法在大型自动驾驶和无人机场景中提供至少 30 倍更快的渲染速度与可比或更好的逼真度，我们的工作是首次实现大型真实世界场景的实时渲染。

    Nov, 2023

  • 使用 GAN 进行视频增强的超分辨率研究调查

    这篇论文总结了使用深度学习算法，如生成对抗网络，进行超分辨率图像和视频研究的最新进展，提供了改进图像和视频质量的方法，如递归学习、新颖的损失函数、帧率增强和注意力模型集成。这些进展对于增加低分辨率视频的视觉清晰度和质量具有巨大潜力，可应用于监控技术、医学成像等多个领域。此外，这个集合还深入研究了生成对抗网络的更广泛领域，探讨了它们的原理、训练方法以及在各个领域的应用，同时强调了人工智能领域中不断发展和变化的挑战与机遇。

    Dec, 2023

  • 通过时空数据过度拟合实现高质量、高效的视频超分辨率

    利用深度卷积神经网络，结合时空信息，通过数据导向联合训练技术，实现高质量高效实时的视频超分辨率提升，相比现有技术在流媒体视频分辨率提升任务中提高了 14 倍帧率同时提高 2.29dB 的画质。

    Mar, 2023

  • 基于 Patch 的渐进式 3D 点集上采样

    本研究提出了一种基于深度神经网络的点集上采样方法，通过层级渐进式地使用级联的基于 path 的上采样网络训练，优化各级别的细节并提供一系列架构设计改进，以实现对于低分辨率点云输入的高保真细节重建。在定性和定量实验中，本方法在处理低分辨率输入和揭示高保真度细节方面，均显著优于现有的基于学习和优化的方法。

    Nov, 2018

  • 实时渲染的低延迟时空超采样

    该论文通过将帧超采样和外推方法整合到一个统一的框架中，提出了一种新颖的空时超采样方法（Space-time Supersampling），能够在较低的延迟下提高整体质量。经过广泛实验证明，该方法在视觉保真度方面优于最先进的方法，而且性能仅需 4 毫秒，比传统的两阶段流程节约了高达 75% 的时间。

    Dec, 2023

  • 使用原始图像实现真实场景超分辨率

    为了解决超分辨率图像恢复在真实场景中的局限性，本文提出了新的数据生成管道来模拟数字相机的成像过程，并使用双卷积神经网络以及学习空间变异的颜色转换来处理原始数据，实验结果表明，在真实场景中，使用原始数据进行超分辨率图像恢复可以更好地恢复细节和清晰的结构。

    May, 2019

  • 像素递归超分辨率

    该论文提出了一个像素递归超分辨率模型，可综合提高图像的分辨率并增强其真实感；该模型能够表示多模态条件分布，使用 PixelCNN 结构定义自然图像的先验知识并联合优化条件卷积网络，保持了照片的真实感。

    Feb, 2017

  • AnimeSR：学习用于动画视频的真实世界超分辨率模型

    本文研究解决现实世界中动画视频超分辨率（VSR）的难题，并揭示了实用动画 VSR 的三个关键改进：通过学习基本运算符来改进基本降质操作生成过程中的能力，使用 AVC 数据集进行综合训练和评估，以及研究有效的多尺度网络结构。我们的 AnimeSR 方法能够有效和高效地恢复现实世界中低质量的动画视频，并实现了优于以往最先进方法的性能。

    Jun, 2022