Feb, 2023

室内模型的交互感知式建模

PDF
TL;DR为了在日常生活中与可动物体实现互动，本文探索了通过机器人在室内场景中有目的地交互以建立室内场景的可动模型的方法，并引入了一个名为 Ditto in the House 的交互感知方法，通过可行性预测发现可能的可动物体，与这些物体交互以产生可动运动，并从每次交互前后的视觉观察中推断出其可动性质。
virtual modelingrobot navigationarticulation modelinginteractive perceptionaffordance prediction
发现论文，激发创造
  • 使用交互构建关节对象的数字孪生模型

    本文介绍了 Ditto 模型，它是一个通过交互感知的方式学习配置模型估计和立体几何重建的数字孪生模型，可用于虚拟环境中的应用。使用隐式神经表示来实现联合几何和构建模型，可以实现物体的数字孪生模型制作和物理仿真应用。

    Feb, 2022

  • 从视觉演示中学习关节动作

    该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法，以便于机器人能够独立使用这些物体，这种方法不需要先前的物体模型，并使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。

    Feb, 2015

  • FlowBot3D：学习 3D 关节流来操纵关节对象

    采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

    May, 2022

  • VAT-Mart: 学习 3D 关节物体操作的视觉动作轨迹提议

    本文提出了一种基于物体的行动视觉先验的方法，即预测密集的几何感知、交互感知和任务感知的行动特征，结合强化学习策略和感知模块进行训练，通过探索多样的交互轨迹和总结概括所探索的知识来实现更好的感知 - 交互效果，并在大规模数据集上验证了其有效性和推广能力。

    Jun, 2021

  • 使用全身移动操纵在未知场景中实现关节物体交互

    本文提出了一个在未知环境中自主交互大型铰接物体的两阶段架构，第一阶段是以物体为中心的规划器，第二阶段是以智能代理为中心的规划器，并且在移动障碍物的情况下，通过优化控制问题确保安全跟踪所生成的计划。

    Mar, 2021

  • 基于交互的带有物体内部的主动三维重建

    利用感知、机器人对象交互和三维扫描的积极三维重建方法，恢复目标三维物体的外部和内部几何结构，通过分析各部分的互动性和机器人的部分操作来扫描遮挡区域，自动化操作通过内嵌 RGBD 传感器的 Fetch 机器人完成，最后重建所有未暴露的非活动部分和内部结构完成获取。

    Oct, 2023

  • 学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

    通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

    Sep, 2023

  • 学习关节物体运动模型的概率框架

    该研究提出了一种用于模拟动态图的概率框架，包括对边模型的参数化和非参数模型的建模，以及如何估算物体运动的结构和运动学模型以及其在机器人操作和移动操作中的应用。

    Jan, 2014

  • Where2Act: 基于像素的 3D 关节目标对象动作预测

    本文提出一种基于深度学习的方法，通过对物体的可动部分及其所需的操作进行分析，从图像中提取高度本地化的操作信息，从而实现对视觉场景的语义理解。

    Jan, 2021

  • 利用大型语言模型进行机器人三维场景理解

    探讨使用大量语言模型来实现场景理解的常识；介绍了三种利用语言对包含对象的室内环境进行分类的范例：（i）零样本方法，（ii）前馈分类器方法和（iii）对比分类器方法，在现代空间感知系统生成的 3D 场景图上进行操作，并通过分析每种途径，展示了显着的零样本泛化和转移能力；最后，展示了这些方法也适用于推断包含房间的建筑标签，并在真实环境中展示了零样本方法。

    Sep, 2022