Jun, 2024

用高密度视觉粒子动力学模拟现实世界

PDF
TL;DR通过处理包含 10 万 + 粒子的大规模潜在点云，我们提出了一个学习的世界模型 —— 高密度视觉粒子动力学（HD-VPD），它可以模拟真实场景的物理动力学。为了在这一规模上实现高效率，我们引入了一种新颖的点云变换器（PCTs）家族，称为 Interlacer，利用交织的线性注意力 Performer 层和基于图的邻居注意力层。相比之前的图神经网络方法，我们的 Interlacer 动力学速度是原来的两倍，预测质量相同，并且使用 4 倍的粒子可以实现更高的质量。我们展示了 HD-VPD 在建模具有高自由度的双手机器人与两个 RGB-D 相机的动力学方面的能力。我们演示了 HD-VPD 如何通过机器人推箱和抓取任务来评估运动计划的质量。请在此 https URL 上观看通过 HD-VPD 渲染的视频和粒子动力学。
发现论文，激发创造
  • 从 RGB-D 视频中学习基于粒子的 3D 模拟器

    通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

    Dec, 2023

  • VG4D：视觉语言模型进入 4D 视频识别

    通过 Vision-Language Models Goes 4D (VG4D) 框架，我们将 VLM 知识从视觉 - 文本预训练模型转移到 4D 点云网络中，实现了增强的识别性能。我们还提出了改进的 PSTNet 版本 im-PSTNet 来增强 4D 编码器，并通过实验证明了我们方法在动作识别方面达到了最先进的性能。

    Apr, 2024

  • 高密度变化的 3D 点云语义分割

    本文提出了一种名为 HDVNet 的新型架构，针对测量应用程序中的点云具有的大局部密度变化提出解决方案，通过一个嵌套的编码器 - 解码器通路集合来处理特定的点密度范围，有效地处理了输入密度变化，提高了分割精度。

    Jul, 2023

  • 学习涡动力学进行流体推理和预测

    提出一种新的可微旋涡质点方法，以从单个视频中推断和预测流体动力学，通过学习可变换的旋涡到速度动态映射将复杂的流体特征有效捕获在物理约束的低维空间中，并建立一个适合输入视频的流体模拟器来提供稳健，长期的未来预测。

    Jan, 2023

  • DDLP：使用深度动态隐变量粒子进行无监督的物体中心视频预测

    本研究提出了一种基于深度潜在粒子网络的物体中心视频预测算法（DDLP），相比于现有的基于插槽或裂纹的表示方法，DDLP 使用一组带有学习参数的关键点来建模场景，具有高效和可解释性，可用于 “如果” 事态的生成以及基于扩散的非条件视频生成，且在多个具有挑战性数据集上实现了最先进的物体中心视频预测结果。

    Jun, 2023

  • 物体中心视觉预测的物理动态学习

    本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

    Mar, 2024

  • 从视频和语言中学习可微分物理模型进行动态可视化推理

    本文提出了一种名为 VRDP 的统一框架，可以从视频和语言中联合学习视觉概念，并推断对象及其交互的物理模型，通过无缝集成三个组成部分：视觉理解模块、概念学习器和可微分的物理引擎。

    Oct, 2021

  • LiDAR 3D 物体检测中的点密度感知体素

    提出了一种基于点密度感知的体素网络（PDV）方法，通过使用核密度估计和具有点密度位置编码的自注意力，通过聚合体素特征来解决 LiDAR 的点密度变化对 3D 物体检测精度的影响。实验结果表明，PDV 在 Waymo 开放数据集上优于所有最先进的方法，在 KITTI 数据集上取得了竞争性的结果。

    Mar, 2022

  • 视觉点云预测能够实现可扩展自动驾驶

    由于视觉自主驾驶应用需要同时处理语义、3D 几何和时间信息以进行联合感知、预测和规划，因此我们提出了一种名为 “ViDAR” 的预训练模型，用于预训练下游视觉编码器，并通过新颖的隐变换操作将历史嵌入式表示转换为 3D 几何空间，以实现未来点云的预测。实验结果表明，在下游任务中取得了显著的增益，如在 3D 检测上的 NDS 提高了 3.1％，运动预测的错误率减少了约 10％，规划中碰撞率减少了约 15％。

    Dec, 2023

  • 混合神经体素用于快速多视角视频合成

    本文提出了一种名为 MixVoxels 的新方法，其通过将 4D 动态场景表示为静态和动态体素的混合，并使用不同的网络对其进行处理，以更好地表示动态场景，并提出了一种新型的变分场来估计每个体素的时间方差，以区分两种体素类型，并采用内积时间查询方法高效地查询多个时间步骤，从而在短时间内训练（15 min）得出比以前的方法更好的 PSNR。

    Dec, 2022