Apr, 2024

基于无监督、自底向上的好奇机器人符号接地的类别发现

PDF
TL;DR通过利用具备好奇心近似模型的机器人，并着重于基于自主、渐进的无监督类别构建，以解决符号塑形问题，并受早期儿童语言发展的启发，从而将其探索空间逐渐分解为一系列越来越具体的未标记类别，最终可能由外部专家提供符号关联。扩展先前工作，我们使用了一个可以观察视觉世界的机器人，引入了更高维度的感知空间，并使用了一种更具普适性的类别构建方法。我们的实验表明，机器人基于动作和视觉观察学习类别，且这些类别可以符号地塑形为说话之物。
发现论文，激发创造
  • 人机交互中自主在线自然语言实体绑定

    本文提出了一种基于交叉情景学习的符号接地框架，用于自然语言沟通机器人与人类交互，并在机器人与人类之间的交互实验中表现优异。

    Jul, 2020

  • DeepSym: 无监督连续机器人交互的深度符号生成与规则学习用于规划

    该研究提出了一种基于行为细分、离散对象与效果类别的概率规则方法来进行非平凡的行为规划，并在机器人操作中实现了多步对象操作。

    Dec, 2020

  • 学习神经符号程序用于语言引导机器人操控

    通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

    Nov, 2022

  • 基于接地模型指导机器人控制的文本生成

    本论文提出了一种利用大型语言模型进行机器人交互的方法，用于解决理解语义知识和实现机器人任务之间的矛盾问题，其中引入了基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势，通过指导解码策略可以实现复杂的机器人长视程任务。

    Mar, 2023

  • 利用视觉可供性在非结构化数据上进行语言基础建设

    本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。

    Oct, 2022

  • 将语言与取放物任务结合

    本研究提出了一种基于自然语言指令的机器人系统，通过对话解决歧义，推断出物体及其关系，能够按照用户表达的空间关系成功地放置物体，具有较好的放置效果。

    Feb, 2021

  • 基于视觉化支撑的未转录语音关键词预测学习

    这篇论文中，采用图像与未翻译口头说明的组合，研究计算机视觉系统是否可以用于获取语音的文本标签，并使用图片到词语多标签视觉分类器标记图像的软文本标签。然后，训练神经网络将语音映射到这些软目标。结果表明，语音识别系统能够预测话语中出现的单词，并作为口头词组分类器，同时还经常混淆语义相关的词，例如 “男人” 和 “人” ，使其效果更好作为语义关键词识别器。

    Mar, 2017

  • 多模态指令中的符号基础

    本文提出了一种方法来处理跨模态输入的原始流，以产生物体的细分并与高级概念相关联，以学习用户的颜色和形状的概念，并表明该模型可以从少量的物理演示中推广到识别新单词的物理指示。

    Jun, 2017

  • 无监督文本 grounding: 将词语与图像概念相连

    本研究提出了一种基于深度学习的无监督的文本 grounding（文本与图像上物体的对应关系）方法，并在 ReferIt Game 数据集与 Flickr30k 数据集上分别超过了基线 7.98% 和 6.96%。

    Mar, 2018

  • 广义接地图：一种理解接地命令的概率框架

    该研究提出了一种名为广义接地图 (G^3) 的框架，它通过将自然语言命令的语言分析结构动态地映射到概率图模型中，实现了语言与感知特征的有效关联。该方法能够处理语言多样性，提高了可扩展性和准确性，使机器人能够学习词汇，并根据学习到的词汇跟随未经训练的用户所发出的自然语言命令。

    Nov, 2017