Jul, 2021

三维物体语言基础

PDF
TL;DR本文介绍了一个新的推理任务，旨在针对三维对象的视觉和非视觉语言，并介绍了用于区分对象的几种 CLIP 模型。虽然最近在联合建模视觉和语言方面取得了进展，但这些基于图像的模型仍然对对象的三维性质了解不足，此文发现，将视图估计添加到语言引理模型可以提高准确性。
robotic language understanding3d objectsvisual attributesnatural language descriptionclip
发现论文，激发创造
  • Space - 语言模型用于 3D 视觉基础

    提出了一种空间语言模型用于 3D 视觉定位问题，使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测，能够在 ReferIt3D 提出的数据集上表现出竞争性，可以被应用于机器人等领域的视觉任务中。

    Jul, 2021

  • ShapeGlot: 学习形状区分的语言

    本文研究了细微的物体形态差异在语言中的表达方式，通过图像和三维模型构建了大规模的数据集，利用神经网络进行理解和表达，实现了零样本迁移学习并探究了物体形态与语言结构在物体差异中的关系。

    May, 2019

  • 将语言与取放物任务结合

    本研究提出了一种基于自然语言指令的机器人系统，通过对话解决歧义，推断出物体及其关系，能够按照用户表达的空间关系成功地放置物体，具有较好的放置效果。

    Feb, 2021

  • 带上下文的自然语言查询的机器人目标检索

    我们开发了一种基于机器学习的模型，使机器人能够根据物体的用途检索物体，而不是仅针对特定的物体类型或视觉属性，从而实现了高级概念的预测和自然语言命令的推广。

    Jun, 2020

  • 基于三维视觉特征表示的具身化语言基础

    提出结合语言表述和三维可视化的方法，通过生成模型和检测模型等工具，可以从图像中推理出三维可视特征图，并进一步实现语言方面的任务，如检测引用表达和物体放置策略。这种方法可以更好地进行全景视角和空间推理。

    Oct, 2019

  • REVERIE: 远程实体视觉室内指称表达

    本文提出了一个包含自然语言描述复杂机器人任务的数据集，以期提高机器人与人类之间的互动能力，在使用多个现实图像中的可见物体来回应多方面的指令方面进行各种复杂任务的能力是解决这一挑战的关键。我们测试了多种最先进的视觉和语言导航，以及指涉表达模型来验证这项新任务的难度，但他们中没有一个显示出有希望的结果。我们还提出了一种新颖的交互式导航 - 指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但与人类表现相比仍有很大的改进空间。

    Apr, 2019

  • 单眼视觉、触觉和形状先验的三维形状感知

    通过融合视觉和触觉观测以及来自大规模形状数据库的先验知识，我们提出了一种高效的模式，从单视角彩色图像和少量触索中构建常见物体的三维形状，以帮助机器人更好地执行实际操作。

    Aug, 2018

  • NS3D: 三维物体和关系的神经符号基础

    本文提出了 NS3D 三维场景认知神经符号框架，通过使用基于大规模语言编程模型的层级结构来将语言翻译为程序，不同的功能模块实现为神经网络，并引入管高度关系的功能模块有效地推理复杂场景中物体之间的关系，在数据效率和泛化方面表现出色，在 3D 视角相关任务 ReferIt3D 上获得了最先进的结果。

    Mar, 2023

  • 从单幅图像理解 3D 物体交互

    本文提出一种基于 Transformer 的模型以实现机器的多物体理解，物体控制及 3D 场景探索，主要方法为预测物体的 3D 位置，物理属性及可访问性，通过自己收集和验证数据集来证明该模型对网络视频，比如第一人称视角视频和室内图像产生较好泛化能力。

    May, 2023

  • 三维视觉语言推理中的情境认知的重要性

    SIG3D 是一个端到端的基于情境的 3D 视觉语言推理模型，该模型在情境估计和问题回答方面的性能明显优于现有模型，尤其是在情境估计准确率方面提升超过 30%。

    Jun, 2024