人类具有内在的通用视觉表征，使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能，通过任务融合解码器指导表示学习，使得对于所有感知技能来说，学习编码的结构能够更好地表示重要信息，最终为下游的机器人操控任务提供帮助。大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对于三种最先进的视觉编码器（R3M、MVP 和 EgoVLP）的表示进行了改进，提升了下游操控策略的学习性能。

Oct, 2023

本文通过引入类人概念学习框架和新型计算机架构，将认知心理学的有关概念转移到机器学习领域中，实现了具备可解释性及直观感知能力的机器人。该认知计算机通过视觉感知系统、即时记忆和运动控制系统，实现一个命令集合，以学习新概念，并可将其应用于不同形势的物理世界中。

Dec, 2018

通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

Nov, 2022

使用基于记忆的学习方法，利用任务的符号特性和动作的时间顺序，快速获取和传输高级信息，以解决不连续性约束的任务，这种代理方式比基于模型和无模型深度强化学习方法解决这些任务更快。

Mar, 2023

我们介绍了一种神经符号连续学习的方法，其中模型必须解决一系列神经符号任务，即它必须将子符号输入映射到高级概念，并通过符合先前知识的推理计算预测。我们提出了 COOL，一种面向神经符号连续问题的概念级连续学习策略，并在三个新的基准测试中进行了实验，这表明 COOL 在其他策略失败的神经符号连续学习任务上具有持续的高性能。

Feb, 2023

通过模仿学习，我们能够快速理解一个新任务，通过演示，我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法，解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息，并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成：扩散式动作分割模型用于抽象演示的时间信息，以及开放词汇对象检测器用于空间信息。此外，我们通过符号推理来改进抽象的信息，并利用逆向运动学创建行动计划，以使机器人能够模仿演示的动作。

Jan, 2024

本文提出了一种基于内部工作记忆模块的决策制定代理，可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力，并进一步证明记忆微调可以增强所提出架构的适应性。

May, 2023

本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。

Feb, 2023

通过神经 - 符号过渡性字典学习（TDL）框架，以一种自监督的方式学习数据的过渡性表示，将高维度的视觉输入信息压缩为一组张量作为神经变量，并发现隐含的谓词结构。通过原型聚类学习谓词，并使用扩散模型实现框架，通过合作博弈学习输入的分解，在 3 个抽象组合视觉对象数据集和 3 个神经 / 符号下游任务上进行了广泛实验，展示了学习到的表示能够对视觉输入进行可解释的分解，并且对于现有方法无法实现的下游任务具有平滑适应性。

Aug, 2023

本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

Oct, 2022