May, 2024

GFFE: 低延迟实时渲染的无 G 缓冲帧推断

PDF
TL;DR提出了一种不需要额外延迟的新的帧外推方法，称为 GFFE，利用新颖的启发式框架和高效的神经网络，在实时情况下生成新的帧，并成功解决了双重插值和依赖 G-buffer 的帧外推方法所存在的问题。
real-time renderingframe extrapolationg-buffer freeneural networkshading correction
发现论文，激发创造
  • ExWarp：基于外推和变形的高频显示器时间超采样

    高频率显示在视频游戏和虚拟现实应用中越来越受欢迎。然而，由于底层图形处理器无法以这种高速连续生成帧，这导致了不够流畅和响应的体验。本文提出了一种基于强化学习的方法，即 Exwarp，以智能地在几乎不降低感知图像质量的情况下，在 DNN 基于插值和速度更快的基于扭曲的方法之间进行选择，使帧率提高 4 倍。

    Jul, 2023

  • GES: 通用指数溅射用于高效辐亮场渲染

    通过引入 Generalized Exponential Splatting (GES) 方法，使用 Generalized Exponential Function (GEF) 模型对 3D 场景进行建模，减少了内存占用并显著提高了效率。

    Feb, 2024

  • FuseSR: 通过高效多分辨率融合实时渲染的超分辨率

    利用低成本高分辨率辅助 G 缓冲作为额外输入，我们提出了一种高效有效的超分辨率方法，通过多分辨率级别上的特征对齐和融合，能够以实时性能在 4K 分辨率上以 4 倍甚至 8 倍分辨率进行时间连贯的重建，相较于现有方法具有显著提高的质量和性能提升。

    Oct, 2023

  • GGRt: 实时通用 3D 高斯模型无姿势先验

    这篇论文介绍了 GGRt，一种新颖的通用新视角合成方法，它减轻了对真实相机位姿、处理高分辨率图像的复杂性和冗长的优化过程的需要，从而促进了 3D 高斯喷溅（3D-GS）在实际场景中的更强适用性。

    Mar, 2024

  • 适用于滚动快门影像的事件引导式视频帧插值的自监督学习

    通过事件相机数据来指导自监督学习框架，以非线性稠密的 3D 时空信息估计位移场 (DF) 来应对回滚快门帧 (RS) 采集运动物体时的失真，实现相机任意帧速率插值 (VFI) 和 RS 帧到 GS 帧的互相重构。

    Jun, 2023

  • 快速实时的反事实解释

    本文提出了一种优化自由的快速反事实解释算法，利用多领域图像到图像转换算法，通过训练条件变换器实现转换查询图像到任意反事实类别，并仅需在前向时间内仅使用它就能生成解释，该算法较之其他算法更快且更实际可应用。

    Jul, 2020

  • 3DGStream: 用于高效流式传输逼真的自由视点视频的 3D 高斯模型的即时训练

    3DGStream 是一种用于实时流式传输现实世界动态场景的方法，通过使用 3D 高斯（3DGs）表示场景，并利用紧凑的神经转换缓存（NTC）来建模 3DGs 的平移和旋转，从而实现了每帧 12 秒内的快速即时重建和 200 FPS 的实时渲染，同时提出了自适应 3DG 添加策略来处理动态场景中出现的新物体。实验证明，与最先进的方法相比，3DGStream 在渲染速度、图像质量、训练时间和模型存储方面表现出了竞争力。

    Mar, 2024

  • IFT: 无幽灵的高动态范围图像融合变压器

    提出了一种名为 IFT 的新型图像融合变换器，通过快速全局补丁搜索（FGPS）模块和自交叉融合（SCF）模块，在捕获具有大动态范围的动态场景中长程依赖性的同时，消除了幽灵伪影，实现了高动态范围（HDR）成像。

    Sep, 2023

  • 运动模糊视频插值和外推

    本研究提出了一种新的框架，该框架可以通过光流估计学习引起模糊的像素级运动，然后将已解码的特征变形以估算的光流预测多个清晰的帧，从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。

    Mar, 2021

  • HFGS: 四维高斯完全投影，着重于内窥镜场景重建中的空间和时间高频分量

    提出了一种名为 HFGS 的新方法，通过空间和时间频率角度处理动态场景的可变形内窥镜重建问题，并引入了空间高频重建和时间高频重建技术来提高神经渲染的动态感知和 3D 质量。

    May, 2024