通过连续声学通道实现多智能体通信，学会说话和听话

ICLRNov, 2021

通过连续声学通道实现多智能体通信，学会说话和听话

Towards Learning to Speak and Hear Through Multi-Agent Communication over a Continuous Acoustic Channel

Kevin Eloff, Arnu Pretorius, Okko Räsänen, Herman A. Engelbrecht, Herman Kamper

TL;DR通过使用深度 Q 学习，研究了多智能体强化学习在具有连续通信通道时的应用，发现基本组合特性会在学习的语言表示中出现。噪声在传达未经历过的概念组合时很重要，引入有倾向性的护理者可以使得新的交流创造出一种更有意义的基础语言。这个研究为深度强化学习与多智能体系统的进一步相关研究提供了平台。

Abstract

While multi-agent reinforcement learning has been used as an effective means to study emergent communication between agents, existing work has focused almost exclusively on communication with discrete symbols. Human communication often takes place (and emerged) over a continuous acoust

multi-agent reinforcement learning continuous communication channel compositionality noise language emergence

发现论文，激发创造

连续环境下新兴通讯的归纳偏差

研究多智能体强化学习中新兴通信的交流方式，利用归纳偏差对连续信息的出现做出新增，然后分别对离散和连续信息的增强学习或结合运用归纳偏差对两个娃玩具环境下的协商和序列猜测过程中所学到的通信协议进行演示，并表明这种学习方法可以对通信协议的学习产生益处。

Jun, 2023

多智能体游戏中语言的出现：学习使用符号序列进行沟通

通过玩转指代博弈，研究者们发现使用可微分方式（ST Gumbel-softmax estimator）的强化学习方法能够有效地解决学习沟通的问题，从而使得交互遵循自然语言的组成性和可变性。

May, 2017

紧急量子化通信

本研究提出了一种利用消息量化实现离散通信的方法，可以实现优于其他基于强化学习算法或 Gumbel-softmax 的连续逼近的多种设置下的性能，并为深度学习时代下的多代理通信提供更广泛的视角。

Nov, 2022

通过协商实现的新兴沟通

通过研究 negotiation environment 中不同类型 agent 之间的交互过程，以及不同类型 agent 是否会进行 cheap talk，作者探讨了 cooperation 在语言产生中的必要性问题。

Apr, 2018

泛化基于 emergent 原理的通信

研究将最近开发的 BabyAI 网格世界平台转变为发送者 / 接收者设置，以测试深层强化学习技术是否足以激励建立通用代理之间的基于地面的离散通信协议的假设。结果表明，适当的环境激励确实可以避免测量或特殊归纳偏差的情况，而且更长的通信间隔激励了更抽象的语义。一些情况下，通讯代理比一个单一的代理更快地适应了新环境，展示了新兴通信对于迁移学习和泛化的潜力。

Jan, 2020

内在动机的组合语言生成

本篇论文提出一种内在奖励框架，通过强化学习设置两个代理，以在三个不同的指称游戏环境下将有限通道容量与内在奖励相结合，提高新颖环境下组合性得分约 1.5-2 倍。

Dec, 2020

多智能体强化学习中涌现交流的偏差

我们研究紧急通信的问题，其中语言的产生是因为说话者和听话者必须相互交流信息以解决任务。我们引入了正向信号和正向听取的归纳偏差来解决此问题，并在简单的单步环境中演示了这些偏差如何缓解学习问题，并将我们的方法应用于更广泛的环境中，表明具有这些归纳偏差特征的工作代理人实现了更好的性能，并分析了导致的通信协议。

Dec, 2019

深度学习时代的紧急多智能体交流

研究表明，随着深度人工网络的感知、移动和规划能力的增强，研究人员正在研究它们是否也能发展出共享语言来相互交互，并探讨语言在深度代理人群体中演化及紧急特性的条件，这既有助于理解人类语言进化的过程，也可以让深度网络在日常生活中更加灵活和有用。本文概述了各角度最具代表性的语言演化研究。

Jun, 2020

高效机器通信的持续自适应

本研究提出了一个基于交互式重复参考任务的连续学习框架，以更准确和高效地与伙伴通信，并通过 COCO 的模拟和与人类伙伴的实时参考游戏实验进行了评估。

Nov, 2019

具有新兴通讯的网络多智能体强化学习

本研究使用紧密联系的智能体通过互相交流离散符号彼此合作完成任务。通过分析他们之间的交流，证明了他们发展的语言与网络拓扑有关，并在交通控制器问题上实现了最先进的性能。

Apr, 2020