本文提出了基于具有体验认知语言学特征的表征和学习方法的自然语言理解系统架构，旨在利用隐喻推理和模拟的基础来提高自然语言理解系统的效率、可解释性和概括性。

May, 2020

通过利用多模态大型语言模型，我们构建了一个层次化的具有高级任务规划器和低级探索控制器的嵌入指令跟随框架，该方法可以在未知环境中通过在已知可见线索的基础上生成可行的计划来完成抽象指令，实验结果表明，在大型房屋场景中，我们的方法在 204 个复杂的人类指令（如做早餐和整理房间）中实现了 45.09% 的成功率。

Jun, 2024

本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

Dec, 2020

本文通过引入类人概念学习框架和新型计算机架构，将认知心理学的有关概念转移到机器学习领域中，实现了具备可解释性及直观感知能力的机器人。该认知计算机通过视觉感知系统、即时记忆和运动控制系统，实现一个命令集合，以学习新概念，并可将其应用于不同形势的物理世界中。

Dec, 2018

通过使用 MuJoCo 物理引擎和高质量渲染器 Blender，我们引入一个新的模拟环境，以提供既逼真又准确反映物理环境状态的视觉观察。除此之外，我们还提出了一个由 10 类多步骤推理场景构成的新基准，并开发了一种新的模块化闭环交互式推理（CLIER）方法，考虑到非视觉对象属性的测量、外部干扰引起的场景变化以及机器人动作的不确定结果。我们在模拟环境和实际操作任务中对我们的推理方法进行了广泛评估，并取得了分别高达 76% 和 64% 的成功率。

Apr, 2024

该论文研究了自然语言模型是否能理解物理概念，并设计了一个基准测试 VEC 来探究视觉和具身概念。结果表明，视觉增强的语言模型，如 CLIP 和 BLIP，能够理解具身概念，而通过蒸馏方法将具身知识转移给 LMs 的性能也相当可观。

May, 2023

未来的自主智能机器人面临着从非重复稀疏数据流中学习、检测新颖性并具备无监督学习能力的挑战。本文通过提出一种名为 Continually Learning Prototypes (CLP) 的基于原型的方法，解决了这一挑战。CLP 在 FS-OCL 学习中表现出卓越的结果，在检测新颖性和无监督学习方面达到强基线水平。

Mar, 2024

提出了一种无需显式监督，通过观察图片和配对问答学习视觉概念、单词和句子语义分析的神经符号概念学习器，其通过神经符号推理模块将符号程序执行于潜在场景表示，辅助学习新词并解析新句子，使用课程学习指导对图像和语言的复合空间进行搜索，并进行了广泛实验来证实其在学习视觉概念、单词表示和语义分析方面的准确性和效率。

Apr, 2019

本文提出了一种统一框架 - 动态概念学习者（DCL）用于从视频及自然语言文本中，对物理对象和事件进行建模，其中 DCL 采用轨迹提取器来追踪每个物体随时间的变化并将其表示为一种潜在目标中心的特征向量，并进一步将物体集成到图形网络中学习物体之间的动态交互关系，最终通过语义分析器解析问题并执行执行器来回答问题，该方法在 CLEVRER 数据集上实现了 state-of-the-art 的表现。

Mar, 2021

我们提出了一个框架，使机器人能够通过与人类用户进行当场语言交互来学习新的视觉概念和任务。通过在概念层次结构中给予新概念的父节点增加信息传播，我们提出了一种新方法 Hi-Viscont，该方法允许学习视觉概念层次结构的方法学习新的概念并解决未见过的机器人任务。我们还将视觉任务表示为带有语言注释的场景图，从而使我们能够零样例实时创建任务的新排列组合。通过与基线模型比较 Hi-Viscont 在视觉问答中的表现，我们得出一系列结果。在叶节点概念上，Hi-Viscont 与基线模型具备可比性，但在非叶节点概念上平均提高了超过 9%。对比基线模型，我们的框架在成功率、物体级准确率上分别提高了 33% 和 19%，从而证明了我们的模型在机器人的持续学习环境中学习任务和概念的能力。

Dec, 2023