通过研究人工和机器人合作探索远程地点时的多模态交流，我们发现不同的模态使用策略可能与多个探索子任务的成功相关，并且请求照片的策略可能改进了某些关键实体的识别和计数，未妨碍整体区域的探索。

Oct, 2023

本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

Nov, 2022

通过收集 Human-Robot Dialogue Learning (HuRDL) Corpus 数据集，提出利用人类角色扮演机器人在在线交互虚拟环境中进行协作任务，描述了对话数据和对应注释方案，为智能代理的提高提出了帮助学习的问题。

Jun, 2021

该论文提出了基于自然语言指令的人机交互框架，通过自然语言理解、信息映射和机器人控制等模块，实现了人工建筑工人与机器人的可靠沟通，为克服建筑工作中的复杂性和不确定性问题提供了潜在的解决方案。

Jul, 2023

本文提出一种集成模仿学习和强化学习的方法，通过交互式对话游戏实现基于场景的语言学习，使得智能代理能够主动提问新事物并在一次对话中将新知识应用于实践。实验结果证实了该方法的有效性。

Apr, 2018

提出了一种利用场景图生成和常识知识的架构来检测用户隐含需求并生成一组辅助动作的方法，同时也使用情感分析来解决任务，实现了感知、决策、动作循环的嵌入。

Feb, 2022

本文介绍一个从人与人互动学习到人机互动的方法，通过使用隐马尔可夫模型作为潜在空间先验，并结合变分自编码器来建模互动代理之间的联合分布。利用从人与人互动中学习到的互动动力学来学习人机互动，并将人类观测结果作为训练基础，从而预测更准确的机器人轨迹。进一步通过逆运动学调整生成的机器人动作，以确保与人之间的期望物理接近性，结合了关节空间学习的便利性和准确的任务空间可达性。在富含接触的互动中，我们利用 HMM 分割来调节机器人的刚度以实现柔顺的互动。通过用户评测，我们验证了所提方法在一个人形机器人上的有效性。尽管仅通过两个人的数据进行训练，我们的方法在不同人类之间表现出很好的泛化性能。实验结果表明，用户认为我们的方法更具人性化、及时性和准确性，并且较其他基准方法更具优势。

Nov, 2023

通过基于专家研究的设计考虑，我们开发了 Providence 工具，它是一个基于可视化编程的工具，致力于解决多模态场景搜索中存在的效率和客观性问题。该工具使专家能够结合多种机器学习算法捕捉人类行为提示，而无需编写代码。通过研究和实践验证，我们证实了该工具的可用性、输出质量和可定制性，并且证明了专家和人工智能团队在高度人类环境的领域中的优势。

Feb, 2024

该研究提出了一种用于在长时间内不断学习机器人环境并增量式更新其内部知识图谱表示的架构，采用知识图谱嵌入技术对获取的信息进行泛化，通过一系列增量学习会话来评估机器人从未知上下文中学习实体和关系的能力。

Jan, 2023

我们结合了持续学习、语义推理和交互式机器学习的思想，并通过人机交互开发了一种新型的交互式持续学习架构，用于在家庭环境中不断学习语义知识。我们将该架构与一个物理移动机器人集成，并在实验室环境中进行了两个月的广泛系统评估。结果表明，我们的架构能够使物理机器人能够根据用户提供的有限数据不断适应环境的变化，并利用所学知识执行物体获取任务。

Mar, 2024