Feb, 2024

AONeuS: 声光传感器融合的神经渲染框架

PDF
TL;DR我们的研究开发了一种基于物理学的多模态声光神经表面重建框架（AONeuS），能够有效地整合高分辨率 RGB 测量和低分辨率深度解析成像声纳测量，从而在受限的基线上捕获的测量中重建出准确的高分辨率 3D 表面。
underwater perception3d surface reconstructionmultimodal acoustic-optical neural surface reconstructionbaselinergb measurements
发现论文，激发创造
  • 神经网络体积重建用于相干合成孔径声纳

    使用分析与合成优化的方法来实现一种基于神经渲染的合成孔径声纳（SAS）成像，其具有物理约束和场景先验的能力，经过实验验证，表现通常优于现有的方法。

    Jun, 2023

  • 水下环境实时稠密三维映射

    本文提出了一种针对自主水下载具 (AUV) 的实时稠密三维重建方法，该方法使用了一个鲁棒的 VIO 方法 SVIn2 和一个实时三维重建管道。该管道在四个具有挑战性的水下数据集上获得了可比拟 COLMAP 的重建结果，并在单 CPU 上获得了高帧率。

    Apr, 2023

  • 利用生成对抗网络增强水下图像

    本文提出了一种使用生成对抗网络 (GANs) 来提高可视水下场景质量的方法，该方法可以为水下机器人在视觉驱动任务上的表现提供更好的输入，同时提供了定量和定性数据，证明了这种方法的有效性。

    Jan, 2018

  • 散射介质中的三维场景重建系统

    本研究提出了一种改进的水下三维重建系统，通过视频增强、关键帧选择、位姿估计和神经辐射场等技术，解决了水下场景的图像质量问题，并实现了快速、高质量的三维重建。

    Dec, 2023

  • 基于体渲染学习神经隐式曲面的多视角重建

    该研究提出了一种新颖的神经表面重建方法 NeuS，将表面表示为带符号距离函数的零水平集，并开发了一种新的体积渲染方法来训练神经 SDF 表示，自主进行高保真度的物体和场景三维重建。

    Jun, 2021

  • 改进合成训练的声纳图像描述符在水下地点识别中的泛化性能

    自主导航与水下环境中的挑战，主要包括光吸收和水浑浊度等因素，传统视觉算法对声纳生成的声学图像的应用效果较差，而卷积神经网络通常需要大量的标记训练数据，这些数据通常难以获取。因此，我们提出了一种新型的紧凑型深度声纳描述符管道，它能够在仅仅用于合成数据的情况下推广到真实场景，并通过标准的临时规范化 / 预滤波技术提升输入声纳数据的质量。同时，我们还介绍了自定义的合成数据生成过程。通过对合成和公开可用的真实数据的广泛评估，证明了我们提出的方法相较于最先进的方法更加有效。

    Aug, 2023

  • HF-NeuS: 使用高频细节改进表面重建

    本文提出了 HF-NeuS 方法，在神经渲染中改善了表面重构的质量，首先通过建立透明度函数与 SDF 的关系，将透明度作为变换后的 SDF 来建模，并采用粗到细的策略将 SDF 分解成基函数与偏移函数，最后设计了自适应优化策略，使得训练过程更加关注表面附近存在微小差错的区域，从而获得了比现有技术更好的表面重构质量。

    Jun, 2022

  • 高效大规模 AUV 视觉海底地图生成

    通过结合海洋数据科学、深海探索、自主水下载具、水下成像和机器人三维重建等技术的最新发展，我们提出了一个系统，可在海底面积达公顷级的范围内进行自动化的机器人三维重建。该系统经过多次研究航行的测试和评估，展示了在真实条件下的稳定性和实用性。

    Aug, 2023

  • 基于声纳的水下 AUV 定位系统在低基础设施密度环境中的应用

    在此研究中，我们提出了一种针对海底人造资产稀疏环境设计的自主水下航行器的新型实时声纳全球定位算法。通过利用两种数据解释前端，并在同一声纳数据流中合并这些观测结果，我们的方法在粒子滤波器内加权高概率区域的粒子或解决对称模糊。在模拟环境中进行了初步实验，结果显示出良好的前景。这项工作为将来的方法发展和在实际情况下的全面评估奠定了基础。

    May, 2024

  • NoPose-NeuS：联合优化相机姿态与神经隐式表面的多视图重建

    NoPose-NeuS 是一种将 NeuS 扩展到联合优化相机姿势、几何和颜色网络的神经隐式表面重建方法，通过将相机姿势编码为多层感知器 (MLP) 并引入多视图特征一致性和渲染深度损失，约束学习到的几何来获得更好的相机姿势和场景表面估计。DTU 数据集上的广泛实验表明，该方法能够估计相对准确的相机姿势，同时保持高质量的表面重建，平均 Chamfer 距离为 0.89。

    Dec, 2023