Jan, 2020

体验式视觉探索的探讨

PDF
TL;DR本研究探讨了具有摄像机配备的机器人在新颖，非结构化环境中的感知问题，特别是如何进行视觉探索问题，提出了现有视觉探索算法的分类法并创建了一个标准框架进行基准测试。在两个超现实的 3D 环境和多种评估指标下，通过对四种状态下最先进的模式进行彻底的实证研究，为视觉探索领域提供了新的性能指标和基准。
embodied computer visionvisual exploration algorithmsrobot perceptionphotorealistic simulated 3d environmentsevaluation metrics
发现论文，激发创造
  • 具身视觉导航的深度学习：一项综述

    综述了目前关于具有各种智能技能的智能机器人在 3D 环境中进行导航的研究领域，着重介绍了在这一领域内的各种高级技能，例如：感知局部观察视觉输入，理解跨模态的指令等等，并探讨了未来的研究方向及挑战。

    Jul, 2021

  • 面向语义分割的视觉活动学习

    本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

    Dec, 2020

  • REVERIE: 远程实体视觉室内指称表达

    本文提出了一个包含自然语言描述复杂机器人任务的数据集，以期提高机器人与人类之间的互动能力，在使用多个现实图像中的可见物体来回应多方面的指令方面进行各种复杂任务的能力是解决这一挑战的关键。我们测试了多种最先进的视觉和语言导航，以及指涉表达模型来验证这项新任务的难度，但他们中没有一个显示出有希望的结果。我们还提出了一种新颖的交互式导航 - 指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但与人类表现相比仍有很大的改进空间。

    Apr, 2019

  • 在 3D 环境中探索与描述：基于身体感知的视觉字幕生成

    当前的视觉说明模型假设图像是完整呈现场景的完美捕捉，然而在真实世界场景中一个图像可能没有提供良好的视角，从而限制了对细粒度场景的理解。为了克服这一限制，我们提出了一项名为 “实体说明” 的新任务，将视觉说明模型与导航能力相结合，使其能够主动探索场景，并减少来自次优视角的视觉模糊。我们构建了一个包含 10K 个混乱物体的 3D 场景和每个场景三个注释段落的 ET-Cap 数据集，以支持该任务。我们提出了一个级联实体说明模型（CaBOT），它由导航器和说明器组成，用于处理这个任务。广泛的实验证明我们的模型优于其他精心设计的基线模型。我们的数据集、代码和模型可在此链接获得。

    Aug, 2023

  • 探索直至自信：面向体验式问答的高效探索

    我们提出了一种基于语义推理和视觉语言模型的方法，通过构建语义地图和使用自校准来提高机器人的提问回答和探索效率。

    Mar, 2024

  • 体感人工智能综述：从模拟器到研究任务

    本文对体感式人工智能领域进行了综合系统的调查和研究，包括对九个当前体感式人工智能模拟器的评估，以及对于该领域的三项研究任务，即视觉探索、视觉导航和身体问题回答的探索，并旨在为该领域模拟器和未来方向的选择提供建议。

    Mar, 2021

  • RoboTHOR：一个开放的从模拟到现实的具身化智能平台

    介绍了一个基于模拟环境的交互式和具身视觉 AI 研究平台 RoboTHOR，为解决模拟到真实世界的模型迁移问题提供了可能，为全球的研究者提供了一个远程测试具身模型的平台，并自举了实验结果表明，在模拟与物理世界中测试的模型训练性能存在显著差异，可能成为视觉计算的下一个发展阶段。

    Apr, 2020

  • 具身视觉识别

    本文提出了一种名为 “Embodied Visual Recognition” 的任务，其中代理可以在三维环境中移动以对被遮挡的目标物体进行识别、定位和分割，研究结果表明，具有移动能力的代理比被动代理的视觉识别性能更好，代理可以学习不同于最短路径的策略移动路径来提高视觉识别能力。

    Apr, 2019

  • 认知心理学启发下的人工智能自主探索

    该研究旨在探讨人类探索行为与人工智能自主性和适应性的联系，并将认知心理学范例应用于机器学习方法中。研究表明，与人类对应的人工智能代理可以通过内部状态与探索行为之间的因果关系来学习并自我发展，这对于人类认知研究和人工智能的发展都具有重大意义。

    Feb, 2023

  • 嵌入式扫描：面向身体智能的整体多模态 3D 感知套件

    在计算机视觉和机器人领域，基于自身的智能体需要能够探索环境并执行人类指令，这要求其能够从第一人称观察中完全理解 3D 场景，并将其以语言的形式进行交互。本研究引入了一种名为 EmbodiedScan 的多模式、自我中心的 3D 感知数据集和基准，用于整体的 3D 场景理解。通过该数据集，我们还引入了一种名为 Embodied Perceptron 的基线框架，它能够处理任意数量的多模式输入，并展示出卓越的 3D 感知能力。

    Dec, 2023