本研究提出了 VLMaps，一种将 3D 物理世界重建与预训练的视觉语言特征直接融合的空间地图表示，其能够通过大型语言模型将自然语言命令直接转化为空间导航目标。VLMaps 能够在不需要额外标注数据的情况下自主构建，并且可以与多种类型的机器人共享，能够进行导航的同时生成新的障碍物地图。实验表明，VLMaps 可以支持人类语言含义更丰富的导航指令。

Oct, 2022

我们提出了一种新的算法，Panoptic Vision-Language Feature Fields (PVLFF)，可以同时进行语义和实例分割，通过对输入帧上的 2D 实例分割提案应用对比损失函数来联合学习视觉 - 语言特征和分层实例特征，从而在 HyperSim、ScanNet 和 Replica 数据集上达到可比较的性能并在语义分割方面优于当前的 3D 开放词汇系统。

Sep, 2023

文章研究了在视觉 - 语言 (VL) 任务中如何处理语言和视觉特征，提出了一些对于语言发挥更大作用的最佳实践，包括使用平均嵌入语言模型，进行多任务训练以及采用图形导向的视觉 - 语言嵌入模型（GrOVLE）来整合语言特征。

Aug, 2019

通过在同一度量空间中嵌入图像特征提取器和体积特征场，通过对比框架对齐体积特征与图像特征并利用学习的表面信息对后者进行正则化，本文提出了一种联合学习场景表示、体积渲染和特征场设计的方法，用于视觉定位，并在真实场景中验证了该方法的有效性。

Jun, 2024

采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

Dec, 2021

通过构建语义空间地图和使用大型语言模型的强大推理能力，我们提出了一种新的方法 IVLMap，使机器人能够获得实例级和属性级的语义映射，从而实现了精确定位和零 - shot 端到端导航任务的能力，并在导航准确性上实现了 14.4% 的平均改进。

Mar, 2024

GeoVLN 提出了一种几何加强的视觉表示学习方法，基于 Slot Attention 技术和 V&L BERT 模型结合自然语言和多种视觉输入信息实现了强大的视觉和语言导航功能，取得了很好的实验效果。

May, 2023

通过使用一种新颖的场景表示方法 —— 嵌入语言的 3D 高斯模型，本研究在 3D 空间中实现了开放词汇查询任务，取得了最佳的视觉质量和语言查询准确性，并且保持在单个台式 GPU 上的实时渲染帧速率。

Nov, 2023

本研究提出了一种隐式表示法，以捕捉物体表面在光场中的视觉外观，并证明了该方法能够在使用单个真实 RGB 图像和对应的三维形状信息时预测未见过的物体的视觉外观。该方法建立了一个连续的表面光场表示，独立于几何形状，并且在特定照明条件下可嵌入到可变自编码器中进行生成新的外观的任务中。

Mar, 2020

通过引入 Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF)，我们提出了一种对 3D 场景进行泛化的隐式表示方法，显著提升了 2D 和 3D 开放词汇语义分割的性能，同时消除了对语义标签或深度先验的需求，有效地在不进行微调的情况下跨场景和数据集进行泛化。

Apr, 2024