通过视觉基础应对语言漂移
本文介绍一种结合多智能体通信和传统数据驱动方法的自然语言学习方法,通过在自身玩耍的环境中生成任务特定的奖励来适应或调节模型,形成任务条件化语言模型,并引入了一种基于语言模型样本重新排序的新方法,以优于其他方法地与人类进行视觉指称交流任务的通信。最后,我们提出了一种不同类型的语言漂移分类以及检测它们的措施。
May, 2020
研究使用自我监督学习的方法,通过最大化给定轨迹信息的消息之间的互信息,使用一种新的视角诱导出一个共同语言,在通信关键的环境中取得了更好的学习表现和速度,以及学习出比现有方法更一致的共同语言,而且不需要引入额外的学习参数。
Mar, 2022
本文提出了一种通用的方法来对抗所谓的语言漂移现象,这种方法叫做 Seeded iterated learning (SIL),该方法通过周期性地对预训练的学生智能体进行附着,以模仿从新生成的老师智能体采样的数据,并评估了该方法的效果。
Mar, 2020
本文介绍了一个交互式培训方法,以改进自然语言对话系统的视觉基础任务。培训过程中,共同的奖励函数引导着两个代理逐渐适应并合作完成任务,同时,该参数化奖励函数更新自身使训练效果得到了明显提高。虽然我们在训练过程中观察到了语言漂移问题,但我们提出使用奖励工程来提高生成对话的可解释性。此外,该研究结果表明评估目标为视觉对话任务时,需要比任务成功率更有语义相关性的评估标准。
Dec, 2017
本文提出了一种基于多智能体交互通信的语言学习框架,在指代游戏的上下文中研究了这种学习方法,通过联系人工智能代理人彼此通信以识别随机图像,在通过调整游戏环境来提高代理人交流的自适应语言结构,并为代理人的代码提出简单的系统,从而使其更好地恰当地通信,并能更有效地与人类沟通。
Dec, 2016
通过 “任务 & 告诉” 游戏,本文证明了虽然大多数机器发明的语言是有效的,但它们并不可解释或复合。由此发现自然语言并不会自然产生,为了达到人类一样的语言理解,需要增加通信的限制。
Jun, 2017
通过增强和无监督学习,训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令,将语言符号与周围物理环境的感知表示和相关的行动序列联系起来,实现语言含义的压缩和提取,从而揭示出关于语言基于感知概念的本质和潜力。
Jun, 2017
基于 2D 迷宫世界,通过虚拟代理学习语言的模型,将语言的生成与理解与其他计算流程分离,从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果,大幅优于其他五种比较方法。
Jan, 2018