基于生成流模型的期望标量化收益多目标协调图

Jul, 2022

基于生成流模型的期望标量化收益多目标协调图

Multi-Objective Coordination Graphs for the Expected Scalarised Returns with Generative Flow Models

Conor F. Hayes, Timothy Verstraeten, Diederik M. Roijers, Enda Howley, Patrick Mannion

TL;DR本文介绍了一种名为 DMOVE 的算法，它利用连续回报分布来计算多目标协调图中预期标量化回报的集合。DMOVE 算法可用于风场控制等实际问题，可以计算期望标量化回报作为单次执行多策略时的实用功能。

Abstract

Many real-world problems contain multiple objectives and agents, where a trade-off exists between objectives. Key to solving such problems is to exploit sparse dependency structures that exist between agents. For example, in wind farm control a trade-off exists between maximising power and minimising stress on the systems components. Dependencies between tur

multi-objective coordination graph wind farm control multi-objective reinforcement learning scalarised expected returns distributional multi-objective variable elimination

发现论文，激发创造

基于价值的多目标强化学习在随机环境中的实证研究

本研究针对多目标强化学习中基于值函数的 Q-learning 算法在具有随机状态转移的环境中学习最优策略的问题进行了详细研究，考察了算法的变种以及奖励工程方法，并突出了噪声值估计问题对算法稳定性和收敛性的重要影响。

Jan, 2024

分布式多目标动态卸载调度的空地合作 MEC

无人机协助地面移动边缘计算具有较高能效和减少任务积压的潜力，本文提出了基于多目标动态轨迹规划和卸载调度的分布式方案，集成了多目标强化学习和核方法，结果显示此方法相较于传统方法具有更好的能耗和任务积压表现。

Mar, 2024

基于价值的多目标强化学习中的价值函数干扰和贪婪动作选择

多目标强化学习算法扩展了传统的强化学习方法以解决存在多个冲突目标的问题，通过向量值奖励进行表示。我们在此论文中展示了，如果用户的效用函数将各向量值映射到相似的效用级别，这可能导致代理学到的值函数受到干扰，从而收敛到次优策略。尽管在确定贪婪动作时避免使用随机打破关系，可以缓解由值函数干扰引起的问题，但并不能完全克服这个问题。

Feb, 2024

多目标强化学习中随机环境和局部决策问题的解决

本研究旨在探讨多目标强化学习算法在具有随机状态转换的环境中学习最优策略的影响因素，并通过实证评估比较了不同的算法变种。研究结果表明设计良好的奖励信号可以改善性能，全局统计的 MORL Q-learning 算法也显示出比基准算法更好的性能，但仍然存在着噪声 Q 值估计问题的影响。

Nov, 2022

多目标推荐的多元策略学习

多目标权衡时，推荐系统中的标量化方法决定最终用于排序的加权平均奖励信号，本研究对该方法进行了扩展以优化长期用户保留或增长的综合奖励，使用连续多元动作空间的策略学习方法，并提出了修正措施，通过模拟、离线和在线实验验证了方法的有效性。

May, 2024

使用稀疏交互解决转移独立的多智体 MDPs（扩展版本）

文章提出了一种新的用于转移独立多智能体决策问题的最优解算法 CoRe，该算法利用了条件返回图的紧凑表示方法来计算联合策略的价值和局部策略的下限，并能够有效地解决一些此前无法解决的问题。

Nov, 2015

风险感知和多目标强化学习的蒙特卡罗树搜索算法

本文提出了两种基于蒙特卡罗树搜索的算法，能够针对非线性效用函数计算风险意识和多目标环境下的回报策略，并考虑累计回报，同时，这两个算法在多目标强化学习中，预期回报的表现超越了现有的最优算法。

Nov, 2022

多目标深度强化学习用于移动边缘计算

通过设计的多目标 (深度) 强化学习 (MORL) 资源调度方案，结合了近端策略优化 (PPO) 方法以解决多目标边缘计算系统下未知偏好的问题，本研究在能源消耗与传输延迟最小化的前提下，通过多边缘 MEC 系统中多目标离线问题进行建模与解决。

Jul, 2023

非线性协调图

本研究提出了第一个非线性协调图，探讨如何在新的函数类中进行贪心行动选择，使用 LeakyReLU 激活的混合网络解决此问题，提出具有全局最优性保证的枚举方法和具有局部最优性保证的有效迭代优化方法的动机。在多个代理协调任务中取得了卓越性能。

Oct, 2022

基于 UCB 驱动的多目标增强学习的效用函数搜索

基于多目标强化学习的分解方法，通过使用多个效用函数将多目标问题分解为单目标问题，采用上限置信区间的方法在学习过程的不同阶段高效搜索最有前景的权重向量，以最大化 resulting Pareto front 的超体积。

May, 2024