迎合挑剔的顾客：多目标强化学习的遗憾界与探索复杂度

Nov, 2020

Accommodating Picky Customers: Regret Bound and Exploration Complexity for Multi-Objective Reinforcement Learning

Jingfeng Wu, Vladimir Braverman, Lin F. Yang

TL;DR提出一种基于马尔可夫决策过程的实现多目标强化学习的模型，针对不确定性的 reward 函数，使用内积方法建立了一种新的衡量指标，探讨了在线学习以及基于 Preference-free exploration 的学习方式，并提出了一种轨迹复杂度几乎最优的算法。

Abstract

In this paper we consider multi-objective reinforcement learning where the objectives are balanced using preferences. In practice, the preference

发现论文，激发创造

研究了在 Markov 决策问题中，代理人通过在线凸规划算法设计非固定策略，以最大化全局凹奖励函数和矢量结果的均值，以解决多目标优化和 Markov 环境下的受限优化问题。

May, 2019

提出了一种基于期望风险的探索算法，通过训练神经网络和优化策略使智能体具有探索未知状态的能力，在深度强化学习中表现出良好的性能。

Feb, 2023

该论文提出了一个新的 “无奖励强化学习” 框架，通过在探索阶段从 MDP 采集轨迹来找到探索策略，并使用黑盒近似规划器计算接近最优的策略。

Feb, 2020

提出了一个学习框架，该框架使用两个算法与多层次结构的用户交互应用程序中的用户进行分组，以分别处理他们的不同探索风险容忍度，并研究了将 Pessimistic Value Iteration 作为利用算法的应用。

May, 2022

通过引入方差缩减策略，设计了一个记忆高效的算法来解决在线序列化强化学习中的勘探和开发之间的平衡问题，该算法的空间复杂度为 $ O (SAH)$，较以前的算法提高了 $S^5A^3$ 倍的效率。

Oct, 2021

本文研究基于模型的强化学习中的后悔最小化问题，提出一种基于乐观主义原则和线性混合模型的算法，并推导出一些后悔界的理论结果。

Jun, 2020

提出了一种基于广义 Bellman 方程的多目标强化学习算法，该算法可通过极少量的样本快速适应新任务并生成最优策略。

Aug, 2019

研究奖励免费强化学习框架，提出新的有效算法 SS+TP，通过探索和计划两个阶段，分别进行轨迹收集和任意奖励函数优化，达到对多个奖励函数的策略优化。

Oct, 2020

奖励最大化问题中，我们考虑资源消耗的限制下的对决强盗设置。我们提出了基于 EXP3 的对决算法，并通过数值模拟证明了我们提出方法的有效性。

Dec, 2023

本研究基于鲁棒 Catoni 平均值估计器，提出一种新的鲁棒自归一化浓度界，解决了已有技术在大状态空间强化学习中无法获得遗憾上界的问题，并证明了在线性 MDP 设定下，可以获得与最优策略性能某种度量成比例的遗憾上界。

Dec, 2021