使用代理经验记忆的联邦加强蒸馏

IJCAIJul, 2019

使用代理经验记忆的联邦加强蒸馏

Federated Reinforcement Distillation with Proxy Experience Memory

Han Cha, Jihong Park, Hyesung Kim, Seong-Lyun Kim, Mehdi Bennis

TL;DR提出了一种隐私保护的分布式强化学习框架 FRD，通过交换代理经验记忆保留真实经验的隐私，基于优势 actor-critic 强化学习架构评估了 FRD 的有效性，并研究了代理内存结构和不同内存交换规则对 FRD 性能的影响。

Abstract

In distributed reinforcement learning, it is common to exchange the experience memory of each agent and thereby collectively train their local models. The experience memory, however, contains all the preceding state observations and their corresponding policies of the host agent, which

distributed reinforcement learning privacy preservation federated reinforcement distillation actor-critic architecture memory exchanging rules

发现论文，激发创造

代理经验回放：分布式强化学习的联合蒸馏

本文介绍了一种名为联邦强化蒸馏（FRD）的通信高效和隐私保护的分布式强化学习框架，并通过模拟实验验证了改进版本的 MixFRD 相对于基准方案具有更好的任务完成时间和通信成本方差减少。

May, 2020

联邦深度强化学习

本文提出了一种新的深度强化学习框架 FedRL，旨在联邦地建立高质量的代理模型，其中考虑到其隐私，并通过利用高斯微分来保护数据和模型的隐私。在 Grid-world 和 Text2Action 领域的实验中，该框架与各种基线模型进行了比较。

Jan, 2019

分布式优先经验回放

本文中，我们提出了一个分布式深度强化学习架构，可以使代理能够有效地从数量级更多的数据中学习，其中优先经验回放是实现高性能的关键因素。

Mar, 2018

探索无代理数据联邦蒸馏中分布式知识一致性

本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

Apr, 2022

联邦式集合指导下的离线强化学习

本文介绍了一种使用联邦学习平台上的分布式计算资源，基于集成学习方法开发的、名为 FEDORA 的算法，以解决联邦离线强化学习问题。我们展示了 FEDORA 在各种复杂的连续控制环境和真实世界数据集中明显优于其他方法，包括离线 RL 在合并数据池中，最终在移动机器人上演示了 FEDORA 的表现。

May, 2023

深度多智能体强化学习的稳定经验回放

该研究提出了两种解决 multi-agent reinforcement learning 中 nonstationarity 问题的方法，并在 StarCraft 单元微观管理的分散式变量上得到了成功的实验结果。

Feb, 2017

带有生成模型的压缩联邦强化学习

提出了一种通信高效的联合强化学习方法，该方法利用周期性聚合和压缩机制将本地代理的压缩估计聚合到一个中央服务器上，首次对这两种机制进行了有限时间分析，并在实验中验证了算法的收敛性行为。

Mar, 2024

DFRD：无数据的异构联邦学习鲁棒性蒸馏

基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了 DFRD 方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明 DFRD 相较于基准模型取得了显著的性能提升。

Sep, 2023

FedER：通过经验回放和隐私保护数据合成的联邦学习

本文提出一种基于体验回放和生成对抗网络思想的联合和分散学习策略，名为 FedER，它可以在保持隐私的同时整合本地节点的特征，提供能够横跨多个数据集的模型，以实现对结核和黑色素瘤分类的准确诊断

Jun, 2022

个性化联邦超网络用于多任务强化学习的隐私保护

本文介绍了一种新型的多智能体强化学习模型 Personalized Federated Hypernetworks (PFH)，并将其应用于少样本迁移 (transfer) 学习和 RL 场景中的能源需求响应 (price-setting)，实验结果表明 PFH 能够在保持数据安全的前提下达到多个任务的高效学习。

Oct, 2022