SceneScore:学习对象布置的成本函数
本研究基于物体的易用性、可达性和相对人体姿态的关系,通过 3D 空间特征和 Dirichlet 过程混合模型学习场景中不同物体相对人体姿态的分布情况,并以此作为推理对象,通过合适的密度函数,预测物体在房间中的正确放置位置。实验证明,与最佳基线方法相比,该算法的平均误差小于 1.6 米,分数达到 4.3/5。
Jun, 2012
本文提出一种基于优化的框架用于重新布置室内家具,以更好地容纳人机共同活动。优化算法基于多种空间和语义相关信息,将家具重新布置以保留人类功能性需求的同时为机器人活动留出足够空间,并通过自适应模拟退火和共轭梯度演化策略解决优化问题。实验结果显示,重新布置后的场景平均提供了 14%更多的可访问空间和 30%更多的物品供机器人和人类交互。
Mar, 2023
通过使用语言解析器将语言指示映射到相应的能量函数,并且使用开放式词汇的视觉语言模型将它们的参数接地到场景中的相关对象,我们提出了一种表示语言指导的空间概念的方法,可以通用于更长的指令和在训练时从未见过的空间概念构成。我们在已建立的指令引导操作基准测试以及我们引介的构成指令基准测试上测试我们的模型,并展示了它在模拟和现实世界中都能够执行高度构成的指令,而且其性能明显优于语言到动作反应策略和大型语言模型计划者,特别是针对涉及多个空间概念构成的长指令。
Apr, 2023
本文针对机器人在无序的环境中进行多物体放置提出了一种学习方法,通过设计适当特征和运用图形模型对各种属性进行编码,并在模型中运用整数线性规划进行推理和求解,最终在 16 个品类、40 个区域内对 98 个物体进行了广泛的评估和实验,其结果表明本方法在对已知物体放置情况的成功率达 98%,并且在对新物体进行稳定放置的情况下成功率为 82%。
Feb, 2012
本文介绍了一种基于能量的学习框架,用于生成场景图,允许将场景图的结构有效地纳入输出空间中,通过在学习框架中添加一些约束条件,可以最终提高模型的性能,在视觉基因组和 GQA 基准数据集上的性能提高了 21%和 27%,在零样本和少样本情况下优于现有模型。
Mar, 2021
本文提出了一种在非受控环境下从野外拍摄的单张图像中推断人类和物体的空间布局和形状的方法,并证明了尝试联合考虑人类和物体可以通过引入 3D 常识约束来减少可能的 3D 空间配置。
Jul, 2020
通过构建一个因式分解转换图,将通过像素推断出的实体代表聚类,进而实现对嵌入式代理的物体重新排列的控制,解决到目前为止难以解决的大量实体配置问题。
Mar, 2023
该研究提出了一种基于学习的综合框架,用于多智能体物体重新排列规划,在复杂环境中解决了任务排序和路径规划等挑战。实验证明了该框架的效果和鲁棒性,并改善了比基准方法更好的性能表现(遍历时间和成功率)。
Jun, 2023
本文提出采用成本函数捕捉机器人运动的风格表现,并探究手工设计特征和神经网络参数化两种方式实现;通过实验研究发现,两者性能表现相似,均优于基准线,但各自有优劣。
Sep, 2018