通过使用语言解析器将语言指示映射到相应的能量函数，并且使用开放式词汇的视觉语言模型将它们的参数接地到场景中的相关对象，我们提出了一种表示语言指导的空间概念的方法，可以通用于更长的指令和在训练时从未见过的空间概念构成。我们在已建立的指令引导操作基准测试以及我们引介的构成指令基准测试上测试我们的模型，并展示了它在模拟和现实世界中都能够执行高度构成的指令，而且其性能明显优于语言到动作反应策略和大型语言模型计划者，特别是针对涉及多个空间概念构成的长指令。

Apr, 2023

通过学习 cost function 和图神经网络，我们的方法 SceneScore 能够评估目标排列的可取性，从而实现对缺失目标的姿态预测以及与其他约束条件的组合。

Nov, 2023

这篇论文提出了一种通用的学习框架，用于终身学习功能本质组合结构，分别研究了有监督学习和强化学习的应用，同时拓展到了非静态环境下。在评估实验中，展示了这种框架的优越性，取得了较好的效果。

Jul, 2022

通过构建一个因式分解转换图，将通过像素推断出的实体代表聚类，进而实现对嵌入式代理的物体重新排列的控制，解决到目前为止难以解决的大量实体配置问题。

Mar, 2023

本文提出一种基于优化的框架用于重新布置室内家具，以更好地容纳人机共同活动。优化算法基于多种空间和语义相关信息，将家具重新布置以保留人类功能性需求的同时为机器人活动留出足够空间，并通过自适应模拟退火和共轭梯度演化策略解决优化问题。实验结果显示，重新布置后的场景平均提供了 14％更多的可访问空间和 30％更多的物品供机器人和人类交互。

Mar, 2023

本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

Oct, 2022

本研究基于物体的易用性、可达性和相对人体姿态的关系，通过 3D 空间特征和 Dirichlet 过程混合模型学习场景中不同物体相对人体姿态的分布情况，并以此作为推理对象，通过合适的密度函数，预测物体在房间中的正确放置位置。实验证明，与最佳基线方法相比，该算法的平均误差小于 1.6 米，分数达到 4.3/5。

Jun, 2012

该论文提出了一种基于动态图卷积神经网络的自主部件组装方法，主要解决了几何和关系推理的部件姿态估计子问题，从而将输入部件组装成一个 3D 形状。

Jun, 2020

通过基于自由能原理的预测编码和主动推理框架，将视觉、本体感知和语言集成到一个受脑启发的神经网络模型中，通过多种模拟实验及机械臂的测试，研究表明，在增加任务组合的变异性时，对于学习未知的动词 - 名词组合的泛化能力得到了显著提升，这归因于语言潜在状态空间中的自组织组合结构被感觉运动学习显著影响，视觉注意和工作记忆对于准确生成视动序列以实现语言表示目标具有重要作用，这些结果推进了我们对通过语言和感觉运动经验相互作用发展组合性机制的理解。

Mar, 2024

介绍了一种广泛适用的形式主义，即组合问题图，以解决机器学习中不利于推广的问题，提出了组合泛化问题并引入组合递归学习器，该框架适用于学习算法过程以组合表示转换，从而产生能够进行推理的学习器。

Jul, 2018