Feb, 2024

自动驾驶中分布辐射场用于边缘视频压缩和元宇宙集成

PDF
TL;DR提出了一种基于分布式辐射场（RFs）和多接入边缘计算（MEC）网络的新方法，用于视频压缩和元宇宙数字孪生（DT）更新，通过使用 RFs 代替 I 帧，可实现高达 80% 的数据节省，同时保持了重建图像的高峰信噪比（PSNR）和结构相似性指标（SSIM）质量测量。讨论了元宇宙和自主移动性的可能应用和挑战。
发现论文，激发创造
  • VideoRF: 将动态辐射场渲染为 2D 特征视频流

    该研究论文介绍了 VideoRF，这是第一个能够在移动平台上实时流式传输和渲染动态辐射场的方法，通过使用特定的训练方案和渲染流水线，实现了在移动设备上的高效实时渲染。

    Dec, 2023

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023

  • 工业与机器人领域中的神经辐射场：应用、研究机会和使用案例

    该研究论文通过详细研究神经辐射场（NeRF）在工业应用领域的潜力，并提供未来研究方向，证明了 NeRF 在工业领域的潜力。此外，论文还展示了 NeRF 在视频压缩和三维运动估计方面的实验结果，证明了它们在这些应用中的有效性。

    Aug, 2023

  • Point-DynRF: 单目视频中的基于点的动态辐射场

    通过引入点云动态辐射场（Point-DynRF）的新框架，该论文解决了动态辐射场几何一致性仅限于相邻输入帧的问题，并通过训练神经点云和动态辐射场的全局几何信息和体积渲染过程来优化辐射场和几何代理，从而相互补充。实验证明了该方法的有效性。

    Oct, 2023

  • 高效神经辐射场用于交互式自由视点视频

    本文提出了一种名为 ENeRF 的场景表示，用于快速创建交互式自由视点视频，并实现了深度预测和辐射场网络的联合学习，通过针对场景表面附近的点进行采样，从而显著提高了渲染速度。在多个基准测试中进行实验，结果表明我们的方法在表现上具有竞争力，同时比先前的泛化辐射场方法快至少 60 倍。

    Dec, 2021

  • 分布式神经辐射场模型：基于众包图像的去中心化实现

    DecentNeRF 是第一次尝试的去中心化、众包的神经辐射场（NeRFs），与集中式方法相比，它在训练过程中减少了服务器计算成本，并通过将用户的 3D 视图分解为个人和全局 NeRFs 以及一种新颖的最优加权聚合，实现学习具有照片级真实感的场景表示。它在结构化合成和真实世界照片旅游数据集上验证了我们的方法学习 NeRFs 具有照片级真实感和最小的服务器计算成本，并进一步分析了 DecentNeRF 中全局 NeRFs 的安全聚合如何最小化服务器对个人内容的不良重建。

    Mar, 2024

  • 神经残留光辐射场用于流畅自由视点视频

    本文提出了一种名为 Residual Radiance Field (ReRF) 的新技术，用于高效压缩长时间动态场景的实时自由视点视频渲染，借助全局坐标小型 MLP 作为特征解码器。通过使用紧凑的运动网格以及残差特征网格来利用帧间特征相似性，我们表明这样的策略可以处理大运动而不降低质量，并且提供了一个特殊的 FVV 编解码器和一个 ReRF 播放器，支持在线流式传输长时间动态场景的 FVVs，并通过大量实验展示了 ReRF 在动态辐射场紧凑表示方面的有效性。

    Apr, 2023

  • HumanRF：高保真度的运动人体神经辐射场

    我们引入了 HumanRF，这是一种 4D 动态神经场景表示，可以捕获多视角视频输入中运动的全身外观，并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解，我们可以以高压缩比捕获高分辨率细节，并获得长序列的时间上连贯的演员重建。新的多视角数据集 ActorsHQ 提供高保真度的 16 个序列的 160 个相机的 12MP 镜头素材。我们的 HumanRF 有效利用了这些数据，在新颖视角合成方面取得了重要进展，实现接近于制作水平的品质。

    May, 2023

  • NeVRF：用于长时序列的神经视频辐射场

    NeVRF 利用神经辐射场与基于图像的渲染相结合，通过引入新颖的多视图辐射混合方法从多视图视频中直接预测辐射，实现对长时间动态内视场景的逼真新视点合成。通过利用连续学习技术，NeVRF 能够高效重构顺序数据的帧，不需要重新访问先前的帧，从而实现长时间自由视点视频。此外，通过一种量身定制的压缩方法，NeVRF 能够紧凑地表示动态场景，在实际应用中使动态辐射场更加实用。我们的实验证明了 NeVRF 在实现长时间序列渲染、顺序数据重构和紧凑数据存储方面的有效性。

    Dec, 2023

  • DiL-NeRF：透视街景中的激光雷达神经辐射场探究

    利用 Lidar 数据改善街景下基于神经辐射场的光线追踪和视图合成技术。

    May, 2024