Jan, 2024

VR-GS：一种虚拟现实中的物理动态感知互动高斯喷洒系统

PDF
TL;DR消费者虚拟现实（VR）和混合现实（MR）技术的发展引发了对与 3D 虚拟内容的互动的关注，然而传统的内容创作、编辑和交互技术存在困难。本研究提出了 VR-GS 系统，通过在虚拟现实环境中开发具有物理动力学感知的交互高斯碎片技术，并结合可变形物体的模拟，以实现无缝和直观的用户体验。该系统通过详细的场景重建和物体分割、多视角图像修复，以及基于物理的交互编辑，同时包含实时变形嵌入和动态阴影投射等功能，确保了全面且引人入胜的虚拟体验。
发现论文，激发创造
  • 可控高斯点云投影

    使用 CoGS 方法可以直接操纵场景元素，实现对动态场景的实时控制，且在视觉保真度方面始终优于现有的动态和可控神经表示方法。

    Dec, 2023

  • Touch-GS：视觉 - 触觉监督的 3D 高斯点云渲染

    使用光学触觉传感器监督 3D 高斯扩散（3DGS）场景，利用高斯过程隐式曲面将触摸数据和视觉深度估计网络相结合，提出一种新的损失函数（方差加权深度监督损失）训练 3DGS 场景模型，实验证明该方法在几景合成上能够比单独使用视觉或触觉更好地从不透明、反射及透明物体中获取定量和定性的结果。

    Mar, 2024

  • SRGS：超分辨率 3D 高斯喷撒

    提出了 Super-Resolution 3D Gaussian Splatting (SRGS) 方法，通过在高分辨率空间中进行优化，引入亚像素约束并与预训练的 2D 超分辨率模型集成，以有效增强原语的表示能力。在 HRNVS 方面实现高质量渲染，优于 Mip-NeRF 360 和 Tanks ＆ Temples 等挑战性数据集上的现有方法。

    Apr, 2024

  • 新视觉时代中的 3D 高斯：综述

    3D 高斯散射（3D-GS）是计算机图形学领域的重要进展，提供了明确的场景表示和新颖的视图合成技术，而无需依赖神经网络（如神经辐射场（NeRF））。本文对 3D 高斯散射的相关论文进行了全面调研，将调查结果按照特征和应用进行分类，介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射，提供领域中的重要参考文献，并启发未来的研究方向，如本文的结论部分所讨论的。

    Feb, 2024

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023

  • 运动感知的高斯点云成型在高效动态场景重建中的应用

    提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

    Mar, 2024

  • 实时动态场景渲染的 4D 高斯喷墨

    4D 高斯喷洒 (4D-GS) 方法以高效率表示和呈现动态场景，通过构建有效的变形场来模拟高斯运动和形状变形，实现了高分辨率下的实时渲染，并且在保持与先前最新技术方法相当或更高质量的同时达到了 70 FPS。

    Oct, 2023

  • 利用非正式单眼视频创建可控制的人像

    本文介绍了 Rig3DGS，通过使用一组三维高斯分布在规范空间中表示整个场景，借助可以学习的形变方法来控制面部表情、头部姿势和视角合成，从而实现从单视角捕获生成高质量渲染的目标。

    Feb, 2024

  • 高斯飞溅：高斯喷铺动态流体合成

    利用物理动画、三维高斯点喷涂（3DGS）与基于位置的动力学（PBD）相结合的方法，创建具有非凡效果的虚拟场景重建。通过增强高斯核并与表面法向对齐，实现实时渲染、视角合成以及对固体和流体的动力学模拟。具备物理可行性的渲染和动态表面反射在流体上，产生真实的表面亮点，促进场景物体与流体之间的交互。

    Jan, 2024

  • 基于网格的高斯映射在实时大规模变形中的应用

    通过创新的基于网格的高斯喷洒（GS）表示方法，在保持高质量渲染结果的同时，实现了高质量的重构和有效的变形，每秒平均 65 帧。

    Feb, 2024