对抗性廉价谈判

Nov, 2022

Adversarial Cheap Talk

Chris Lu, Timon Willi, Alistair Letcher, Jakob Foerster

TL;DR本文介绍了一种名为 Cheap Talk MDP 的新的对抗设置，其中一个 Adversary 只能向 Victim 的观察结果中添加确定性信息，从而实现最小影响范围，并提出了一种名为 Adversarial Cheap Talk (ACT) 的元学习算法来训练 Adversary，在高度约束的情况下，ACT Adversary 仍能对 Victim 的训练和测试表现产生明显影响，从而揭示了训练时间性能的新攻击向量，并提供了现有 RL 算法成功和失败模式的见解。

Abstract

adversarial attacks in reinforcement learning (RL) often assume highly-privileged access to the victim's parameters, environment, or data. Instead, this paper proposes a novel adversarial setting called a Cheap T

adversarial attacks reinforcement learning cheap talk mdp meta-learning algorithm train-time performance

发现论文，激发创造

强化学习的最优攻击与防御

为确保强化学习在真实系统中的可用性，需要保证其对噪声和对抗性攻击具有鲁棒性。本文研究在线操纵攻击的全类攻击形式，包括状态攻击、观察攻击、行动攻击和奖励攻击。我们通过马尔可夫决策过程（MDP）对隐藏在攻击交互中的元级环境进行建模，并展示了该攻击者设计隐蔽攻击以最大化其预期收益（通常对应于减小受害者价值）的问题。我们证明攻击者可以通过规划或使用标准强化学习技术进行学习，以多项式时间或多项式样本复杂度确定最优攻击策略。我们认为受害者的最优防御策略可以通过解决随机 Stackelberg 博弈获得，该博弈可以简化为部分可观察的交替轮流随机博弈（POTBSG）。攻击者和受害者都不会从偏离各自最优策略中获益，因此这些解决方案具有真正的鲁棒性。虽然防御问题是 NP 困难的，但我们证明在许多情况下最优马尔可夫防御策略可以在多项式时间（样本复杂度）内计算（学习）。

Nov, 2023

针对受攻击方策略访问有限的强化学习的行为目标攻击

研究考虑攻击强化学习代理，其中对手通过对受害者的状态观察添加敌对修改来控制受害者的行为，提出了一种在黑盒和无盒设置中操纵受害者代理的新方法，无需特定环境启发式，并通过分布匹配问题解决现有的模仿学习算法，实证评估表明该方法攻击性能优于基准方法。

Jun, 2024

多智能体强化学习中的廉价交流发现与利用

本文针对合作多智能体增强学习方法中，通过便宜谈话渠道实现智能体之间的通信的问题，提出了一种基于互信息最大化的算法，分别对便宜话探测和利用进行了研究，并在这两个部分都优于现有算法的前提下，开发出一种新的框架，还发布了一套新的基准测试套件以刺激未来在便宜谈话渠道方面的研究。

Mar, 2023

训练时间攻击的自适应折扣

通过开发一种名为 gammaDDPG 的 DDPG 算法的特殊版本，我们展示了一种更强版本的构建性训练时攻击 (C-TTA)，即使目标行为由于环境动态和与受害者目标的非最优性而不可采纳。

Jan, 2024

基于学习得到的优化对手的状态观测下鲁棒强化学习

研究了强化学习在面对敌对攻击 (即使状态的扰动) 时的鲁棒性，并提出了一种基于 ATLA 框架的方法来增强 Agent 的鲁棒性，通过训练 online 的对抗学习可以达到最优敌对攻击框架与提前学习历史数据等手段，从而提高强化学习在实验中的表现。

Jan, 2021

重新思考敌对政策：多智能体 RL 中的广义攻击公式与可证明防御

本文研究在强化学习的多智能体环境中，攻击者通过对受害者智能体进行对抗性的过程来实施攻击，并提出了一种更一般化的攻击模型，通过攻击预算来实现对智能体的控制，可产生能够利用受害者智能体的隐蔽性对抗策略，同时提供了首个提供收敛证明的保护方案，以对抗最强的对抗性训练。

May, 2023

针对深度强化学习的隐蔽高效敌对攻击

探索针对深度强化学习的对抗攻击，并提出两种攻击技术：关键点攻击和拮抗攻击，以提高鲁棒性，实验结果显示这两种技术比现有方法更具优势。

May, 2020

面向任务的神经对话模型的对抗学习

本文介绍了一种使用对抗性学习方法进行奖励估计的强化学习（RL）的任务导向型对话模型，该方法在一个餐厅搜索场景中实现了较高的对话成功率。

May, 2018

通过动作空间对抗训练强化学习智能体的鲁棒性提升

研究了机器学习在具备恶意状态 / 执行机构攻击下的表现，介绍了深度强化学习在决策和控制任务中存在漏洞的问题，提出了通过对抗训练来提高深度强化学习代理的抗干扰性以实现系统的稳定性和鲁棒性。

Jul, 2020

使用近似时间信息对强化学习智能体进行黑盒攻击

通过使用序列到序列（sequence-to-sequence）模型和时序信息，本研究在黑盒攻击下预测和触发强化学习（reinforcement learning）代理的行为，并提出对先前论文中的缺陷进行了新的评估基准。

Sep, 2019