多目标强化学习的最大最小公式：从理论到无模型算法

ICMLJun, 2024

多目标强化学习的最大最小公式：从理论到无模型算法

The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm

Giseung Park, Woohyeon Byeon, Seongmin Kim, Elad Havakuk, Amir Leshem...

TL;DR本文研究多目标强化学习在应对多个优化目标的实际问题中的应用，采用最大最小框架从公平的角度出发并在该框架下提出了相关理论和实用的无模型算法。所提出的理论在多目标强化学习方面具有理论上的突破，而所提出的算法在性能上显著优于现有的基准方法。

Abstract

In this paper, we consider multi-objective reinforcement learning, which arises in many real-world problems with multiple optimization goals. We approach the problem with a max-min framework focusing on

multi-objective reinforcement learning max-min framework fairness theory practical model-free algorithm

发现论文，激发创造

约束强化学习的平均奖励目标：基于模型和无模型算法

在这份研究论文中，通过系统研究了强化学习（Reinforcement Learning）在约束条件下的模型方法和无模型方法，着重分析了平均奖励随机决策过程中乐观和后验取样的基础方法以及参数化模型无关方法，同时在解决约束决策过程中提供遗憾保证和约束违规分析。同时，还探讨了在弱通信随机决策过程中的结果，扩大了研究结果的适用范围。

Jun, 2024

多目标金融优化的强化学习薪资优化

我们研究了薪水优化问题，研究了如何分配收入以实现多个竞争的财务目标。我们将问题构建为效用最大化问题，以统一不同的财务目标，包括处理随机利率，并实现了一种强化学习解决方案。

Mar, 2024

突破极限：重塑强化学习中的奖励

强化学习中，选择好的奖励函数是一个重要且具有挑战性的问题。本文提出了一种使用最大奖励而不是累积奖励的算法，适用于确定性和随机环境，并将其与现有的强化学习算法相结合。在实验中，我们研究了该算法在两个目标达成环境中的性能，并证明了其相对于标准强化学习算法的优势。

Feb, 2024

多目标强化学习与规划实用指南

本文为那些希望将多目标方法引入其研究的已经熟悉单目标强化学习和计划方法的研究人员以及在实践中遇到多目标决策问题的从业人员提供了一个解决复杂问题的指南，阐述了影响所需解决方案性质的因素，并通过示例说明了这些因素如何影响复杂问题的多目标决策系统的设计。

Mar, 2021

安全平衡：一种用于约束多目标强化学习的框架

在涉及安全关键系统的众多强化学习问题中，平衡多个目标并同时满足严格的安全约束是一个关键挑战。为解决这个问题，我们提出了一个基于原始的框架，通过多目标学习和约束遵从性之间的策略优化来协调。我们的方法采用了一种新颖的自然策略梯度操作方法，用于优化多个强化学习目标，并克服不同任务之间冲突梯度，因为简单的加权平均梯度方向可能不利于特定任务的性能，原因在于不同任务目标的梯度不对齐。当出现硬约束违规时，我们的算法介入纠正策略以最小化违规。我们在表格设置中建立了理论收敛和约束违规保证。在具有挑战性的安全多目标强化学习任务上，我们提出的方法在实证上也优于先前最先进的方法。

May, 2024

利用强化学习在多智能体马尔科夫决策过程中实现公平

本文提出了一种基于强化学习和在线凸优化的方法来实现多智能体系统中的公平性，在保证植树的情况下为不同智能体提供公平奖励。该方法能够在未知环境中实现公平，并在实验中得到了验证。

Jun, 2023

一种融合估计和规划的最大化目标用于探索

本研究提出了一个易于实现的 RL 框架 Maximize to Explore（MEX），它通过最大化一个综合了估计和规划分量的单一目标，在自动平衡探索和利用方面实现了比现有算法更高的采样效率，并实现了更低的计算成本和更好的与现代深度 RL 方法兼容性。

May, 2023

多目标策略优化的分布式视角

本文提出了一种用于多目标强化学习的新算法，可以以一种无量纲的方式设置目标的偏好，并且通过学习行动分布和拟合参数策略来在高维实际机器人任务及模拟任务中展示了其有效性，从而找到一组非支配解空间。

May, 2020

MaxMin-RLHF: 大规模语言模型与多样化人类偏好的公平对齐

通过使用期望最大化算法，学习一种偏好分布的混合，以及基于社会选择理论中的平等原则提出一种最大最小对齐目标，提高代表多样化人类偏好的能力，并通过小规模和大规模语言模型的实验结果证明其有效性和公平性。

Feb, 2024

多目标强化学习中的福利与公正

本研究探讨了如何在多个目标之间实现公平的多目标强化学习，其中一个代理必须学习一种同时在矢量价值回报的多个维度上获得高回报的策略。我们采用期望福利最大化方法，通过某些非线性公平福利函数对长期累积回报的矢量进行建模。我们提供了 Q-learning 的新颖自适应方法，以学习为非线性福利函数进行优化。我们的算法可以被证明收敛，并且实验表明与线性标量化、最佳线性标量化混合或固定行动选择技术相比，在 Nash 社会福利目标方面，我们的方法表现出更好的效果。

Nov, 2022