隐私保护增强学习超越期望

Mar, 2022

Privacy-Preserving Reinforcement Learning Beyond Expectation

Arezoo Rajabi, Bhaskar Ramasubramanian, Abdullah Al Maruf, Radha Poovendran

TL;DR通过将累积前景理论（CPT）与隐私保护的差分隐私相结合，设计了一种算法，使用增加噪音的高斯过程机制保证了算法所学习到的价值函数的隐私性，并在实验中证明了有隐私保护的强化学习代理能够在与人类用户相同的环境中以隐私保护的方式学习和与用户保持行为一致。

Abstract

Cyber and cyber-physical systems equipped with machine learning algorithms such as autonomous cars share environments with humans. In such a setting, it is important to align system (or agent) behaviors with the

machine learning cyber-physical systems reinforcement learning privacy-preserving cumulative prospect theory

发现论文，激发创造

累积前景理论与强化学习相遇：预测和控制

本研究采用累积概率理论将风险敏感型强化学习应用到交通信号控制领域，并提出了一种估算方法和优化程序，保证了算法的收敛性。

Jun, 2015

强化学习中的新挑战：安全和隐私调查

本文从 MDP 的角度，综述强化学习存在的安全和隐私问题以及现有的解决方案，进而讨论未来的研究方向。

Dec, 2022

具有 PAC 和遗憾保证的私人强化学习

在高风险决策领域，如个性化医疗，用户信息天然敏感，因此设计了保护隐私的强化学习策略。采用联合差分隐私（JDP）提供有意义的隐私表述，并开发一种基于乐观主义的隐私保护学习算法，同时实现强 PAC 和遗憾边界，且享有 JDP 保证。此算法只在探索方面付出适度的隐私代价。最后，我们针对 JDP 强化学习提出了样本复杂性和遗憾的下界。

Sep, 2020

你的行动言明一切：深度强化学习隐私泄露攻击

本文首次探讨了深度强化学习中可能泄露隐私信息的情况，并提出了两种方法来推断训练后代理的潜在隐私信息。作者在不同情境下进行了大量实验并表明以上两种方法可以有效地从训练后的代理中推断出敏感地图信息。

Apr, 2019

具有自我对弈的差分隐私强化学习

我们研究了具有差分隐私约束的多智能体强化学习问题，设计了一种基于乐观纳什值迭代和 Bernstein 型奖励的算法，能满足 JDP 和 LDP 的要求，并提供了关于后悔界的推广结果，是对多智能体强化学习中轨迹隐私保护的首批研究。

Apr, 2024

带有差分隐私的离线强化学习

我们设计了差分隐私保证的离线强化学习算法，用于学习受个人隐私信息保护的数据驱动决策策略。理论证明和模拟实验表明，这些算法在中等规模数据集上不会牺牲过多效用。

Jun, 2022

隐私意识智能体中的群体决策

如何在个人的隐私需求和安全顾虑中实现个体之间的信息交流以彼此学习？通过采用严格的统计担保，基于差分隐私（DP）控制信息泄露，我们使得保护个人隐私和实现高效社会学习成为可能。我们的研究结果揭示了在质量、学习准确性、通信成本和个体隐私保护水平之间在有限和无限信号环境下的权衡性质。

Feb, 2024

隐私保护的人口过程强化学习

我们考虑了强化学习算法中的隐私保护问题，该问题涉及人群过程，这是一个实际但研究很少的设置，例如在大规模个体之间进行流行病控制。我们通过 Pufferfish 隐私分析澄清了相关数据在人群进程中的差分隐私（DP）的贝叶斯语义，并提供了一种元算法，可以使用任何强化学习算法作为输入，并使其具有差分隐私。我们的主要理论结果表明，在隐私化状态下将标准强化学习算法直接应用于状态时，值函数逼近误差会随着人群规模和隐私预算的增加而迅速缩小，从而强调在人群过程中差分隐私强化学习算法可以实现合理的隐私 - 效用平衡。我们的理论发现通过在大规模人口上进行的模拟流行病控制问题的实验证实了。

Jun, 2024

对比偏好学习：无需 RL 的人类反馈学习

使用最大熵原理，引入了一种从人类反馈中优化行为的新型算法 Contrastive Preference Learning (CPL)，该算法能够在不学习奖励函数的情况下，通过偏好学习最优策略，克服了优化挑战并能应用于任意 MDPs 环境。

Oct, 2023

你的强化学习策略有多隐私？一个基于逆强化学习的分析框架

提出了一个名为 Privacy-Aware Inverse RL 的分析框架，通过反向强化学习算法来进行隐私保护的评估，并实验评估针对不同复杂度情况下的 FrozenLake 域的多个实例的隐私算法的有效性和保障水平，并量化地证明了需要更高的隐私标准来保护强化学习中的奖励函数.

Dec, 2021