本文介绍了一个新的基准测试 gSCAN,用于评估位于语言理解中的组成泛化,在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇,并将其用于语言理解任务。测试发现,在需要系统的组成规则的情况下,强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。
Mar, 2020
基于 2D 迷宫世界,通过虚拟代理学习语言的模型,将语言的生成与理解与其他计算流程分离,从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果,大幅优于其他五种比较方法。
Jan, 2018
本文研究了如何在多智能体种群中产生基础的组合语言,并观察到当语言交流不可用时,指向和引导等非语言交流方式的出现。
Mar, 2017
研究将最近开发的 BabyAI 网格世界平台转变为发送者 / 接收者设置,以测试深层强化学习技术是否足以激励建立通用代理之间的基于地面的离散通信协议的假设。结果表明,适当的环境激励确实可以避免测量或特殊归纳偏差的情况,而且更长的通信间隔激励了更抽象的语义。一些情况下,通讯代理比一个单一的代理更快地适应了新环境,展示了新兴通信对于迁移学习和泛化的潜力。
Jan, 2020
研究使用自我监督学习的方法,通过最大化给定轨迹信息的消息之间的互信息,使用一种新的视角诱导出一个共同语言,在通信关键的环境中取得了更好的学习表现和速度,以及学习出比现有方法更一致的共同语言,而且不需要引入额外的学习参数。
Mar, 2022
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
Aug, 2020
通过增强和无监督学习,训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令,将语言符号与周围物理环境的感知表示和相关的行动序列联系起来,实现语言含义的压缩和提取,从而揭示出关于语言基于感知概念的本质和潜力。
Jun, 2017
该研究提出了一种名为广义接地图 (G^3) 的框架,它通过将自然语言命令的语言分析结构动态地映射到概率图模型中,实现了语言与感知特征的有效关联。该方法能够处理语言多样性,提高了可扩展性和准确性,使机器人能够学习词汇,并根据学习到的词汇跟随未经训练的用户所发出的自然语言命令。
Nov, 2017
引入了一种 Language World Models 的生成式模型,用于预测未来观测的潜在代码,提高了对语言信息的理解能力,进而提高了 2D 栅格世界的语音导航任务的任务成功率。
Feb, 2020
通过在多智能体通信中引入语言模型和视觉约束等训练约束,可以有效避免非语言性的奖励对预先训练的代理产生的语言漂移,从而使预先训练的代理在保留英语语法的同时学会准确传达信息。
Sep, 2019