EMNLPApr, 2021

高效信息传递和输入变异对神经代理迭代语言学习的影响

PDF
TL;DR该研究发现，在使用神经网络代理进行迭代语言学习的近期模拟中，并不存在诸如词序或屈折等表达句法结构的不同策略间的权衡。然而，这一研究发现在考虑到偏向于高效传达、不系统的输入语言和学习瓶颈等三个因素后得到了重新评估，并发现神经网络代理主要努力保持学习期间观察到的话语类型分布，而不是发展更高效或系统化的语言。
发现论文，激发创造
  • 通信促进神经智能体中语言普遍性的出现：来自单词顺序 / 格标记折衷的证据

    提出了一个新的神经智能代理语言学习和通讯框架 (NeLLCom)，通过监督学习和强化学习来优化在自然语言学习和使用情况下语言学习的结果，成功实现了无任何学习偏见的代理之间单词顺序 / 格标记权衡的复制，这被视为深度研究语言普遍规律的重要一步。

    Jan, 2023

  • 深度智能体新兴通信的词序偏见

    本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念，以使其语言行为更像人类。

    May, 2019

  • 孤立智能体之间离散消息的通信效率提升

    本研究旨在探索语言作为一种沟通媒介的效率，发现使用由离散符号组成的句子在不同数据情境下可以提供最佳的智能体间沟通效率。

    Dec, 2023

  • 高效机器通信的持续自适应

    本研究提出了一个基于交互式重复参考任务的连续学习框架，以更准确和高效地与伙伴通信，并通过 COCO 的模拟和与人类伙伴的实时参考游戏实验进行了评估。

    Nov, 2019

  • 人工神经网络对人类语言习得的启示

    通过使用机器学习及自然语言处理技术，研究语言习得过程，探讨如何让模型学习在有限的语言输入下获取语言知识，以验证关于人类语言学习本质的假说。

    Aug, 2022

  • 翻译神经语言

    本文提出一种基于翻译模型的分散深度多智能体策略，它通过可微的通信渠道进行协调，同传输途径的理论保证和实验证据表明我们的方法保留了信息和语用学的价值观。

    Apr, 2017

  • 基于信息瓶颈原理的人 - 代理通信

    本文研究了如何平衡效用、信息的有效性和复杂性，从而塑造新兴的通信，并将其与人类通信进行比较。我们使用 VQ-VIB 方法训练神经代理来压缩输入以获得离散信号，从而比以往的神经体系结构在其性能方面更具优越性，并发现惩罚交际复杂性可以维持高效用的同时维持类似人类的词汇量。此外，我们还发现，VQ-VIB 优于其他离散通信方法。

    Jun, 2022

  • 新兴通讯的易教性和语言结构

    人工智能代理器被证明在完成合作任务时可以学习交流，发现在学习的通信协议中存在某种语言结构（例如组合性），这种结构通常是训练过程中特定环境压力的结果。通过定期引入新的代理器来替换旧的，我们探索了一种新的压力 —— 教学的便捷性，并展示了其对结果语言结构的影响。

    Jun, 2019

  • 语言的深度学习易度是由什么决定的？

    通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。

    Feb, 2023

  • 渐进高效学习

    通过使用名为通信效率交互学习（CEIL）的新学习框架，将人类的渐进式高效沟通方式复制到 AI 代理中，以抽象、动态的语言装备学习代理，并在最小化通信的同时激励学习，实现了人类模式的出现，使学习者和教师通过交换越来越抽象的意图逐渐高效地沟通，该框架在 2D MineCraft 领域的决策性任务中表现出了令人印象深刻的性能和沟通效率，与同样数量的教师互动相比，使用 CEIL 训练的代理快速掌握新任务，绝对成功率比非分层和分层模仿学习分别提高了 50% 和 20%，特别是在以人类实用沟通行为为模型的教师模型中表现出了稳健性。

    Oct, 2023