控制作为概率推理：多智能体强化学习中的一种新型沟通机制

Jul, 2023

控制作为概率推理：多智能体强化学习中的一种新型沟通机制

Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning

Tomoaki Nakamura, Akira Taniguchi, Tadahiro Taniguchi

TL;DR本文提出一种生成概率模型，该模型融合了新兴的通信和多智能体强化学习技术，可通过概率推断计划其动作，在通过信息传递实现协作任务的过程中，使用潜在变量估计与规划，基于 Metropolis-Hasting 命名游戏公式推算，实现了有意义的信息传递和协作任务。

Abstract

This paper proposes a generative probabilistic model integrating emergent communication and multi-agent reinforcement learning. The agents plan their actions by probabilistic inference, called →

generative probabilistic model emergent communication multi-agent reinforcement learning control as inference metropolis-hasting naming game

发现论文，激发创造

基于概率模型预测控制的高效数据强化学习

本文提出了基于概率模型预测控制（MPC）的基于模型的 RL 框架，以减少与环境的相互作用次数的方法。该方法使用高斯过程学习概率转换模型来减少模型误差的影响，同时使用 MPC 找到最小化预期长期成本的控制序列，以达到在受限环境下使用 RL 的目的。

Jun, 2017

基于推理的确定性多智能体通信消息传递

本文研究了智能代理在协调、学习中的作用，提出了一种基于信息传递的优化方法，通过实验表明该方法可以增强现有的分散式训练方法，具有推广应用的潜力。

Mar, 2021

强化学习与控制的概率推断：教程与综述

该研究介绍了一种基于最大熵的强化学习或最优控制方法，该方法在确定性动力学和随机动力学方面分别相当于精确概率推断和变分推断，并探讨了相关算法和未来研究方向。

May, 2018

多智能体强化学习：实用沟通和控制

这篇论文提出了一种名为 “Cyber-Physical POMDP” 的模型，将目标导向通信和网络控制相结合，以实现分散的移动机器人的协调，通过联合训练可以显着提高总体性能并可导致通信行动的隐式协调。

Feb, 2023

强化学习与概率推断的理解

本研究因 RL 作为推理方法的短处而对其进行澄清，RL 代理人必须考虑其行动对未来奖励和观察结果的影响，即探索和开发之间的权衡。我们证明了‘RL 作为推理’近似在基本问题中表现不佳，但我们展示了通过小修正该框架可以获得可靠的算法，该算法与最近提出的 K-learning 等价，我们进一步将其与汤普森取样联系起来。

Jan, 2020

通过协商实现的新兴沟通

通过研究 negotiation environment 中不同类型 agent 之间的交互过程，以及不同类型 agent 是否会进行 cheap talk，作者探讨了 cooperation 在语言产生中的必要性问题。

Apr, 2018

合作多智能体强化学习中实用通信策略的学习

本文提出了一个框架，利用神经消息编码器来学习多智能体强化学习中的通信策略，包括消息传输时机、消息内容以及如何保留消息信息。模拟实际的无线网络环境下，与现有技术相比，该框架在游戏性能、收敛速度和通信效率方面都有显著提高。

Sep, 2022

从行动和指令推断沟通代理的目标

研究了协作团队之间的自然语言指令传递在多模态贝叶斯逆向规划中的应用，发现使用语言指令可以更快、更准确地推断出团队目标，强调了语言沟通对于协作任务的重要性。

Jun, 2023

决策和控制的深度生成模型

本论文旨在研究深度模型强化学习方法的实证不足，并提出解决方案，同时探讨现代生成建模工具箱中推理技术（包括波束搜索、分类器导向抽样和图像修复等）在强化学习问题中的有效规划策略。

Jun, 2023

用对比学习实现分散式多智能体通信的学习

研究使用自我监督学习的方法，通过最大化给定轨迹信息的消息之间的互信息，使用一种新的视角诱导出一个共同语言，在通信关键的环境中取得了更好的学习表现和速度，以及学习出比现有方法更一致的共同语言，而且不需要引入额外的学习参数。

Mar, 2022