Mar, 2024

切换损失减少批处理强化学习成本

PDF
TL;DR我们提出使用对数损失函数训练拟合 Q - 迭代（FQI-LOG）进行批量强化学习。我们证明了使用 FQI-LOG 学习接近最优策略所需要的样本数量与最优策略的累积成本成比例，而在问题中，如果行为最优则可以达到目标且不会产生成本，所以最优策略的累积成本为零。通过这样做，我们为批量强化学习中的 “小成本” 界限提供了一个通用框架，即与最优可达成成本成比例的界限。此外，我们经验证明，在最优策略可靠达到目标的问题上，FQI-LOG 使用的样本比使用平方损失训练的 FQI 要少。
发现论文，激发创造
  • 具有 loglog (T) 切换成本的高样本效率强化学习

    本文针对实际强化学习应用中新策略部署的高成本和策略更新次数必须较少的问题，提出了一种基于分阶段探索和自适应策略消除算法，实现了在低换乘成本下的回报 并且在已知的换乘成本中实现了指数级的改善。

    Feb, 2022

  • 超越线性马尔可夫决策过程中的对数切换成本在强化学习中应用

    本研究提出了一种新的算法 ELEANOR-LowSwitching，它在低固有贝尔曼误差的线性贝尔曼完成马尔可夫决策过程中实现了近乎最优的遗憾，轻量级的开销只是具有对数期和特征维度的情况，同时， 我们还证明了该算法具有次线性遗憾的所有算法之间成比例的下限，针对一般化的线性函数逼近，该算法可以被进一步利用利用它的 “翻倍技巧”，我们设计了一个样本效率高且开销接近最优的算法。

    Feb, 2023

  • 有限时间跨度下连续时间线性二次强化学习的对数损失

    研究连续时间线性二次调节强化学习问题，提出基于连续时间观测和控制的最小二乘算法和基于离散时间观测和分段常数控制的最小二乘算法，并分析了它们的误差界限和实现可能性。

    Jun, 2020

  • 具有切换成本的近优敌对强化学习

    本文尝试解决如何开发一种可证明高效的带有转换代价的对抗性 RL 算法的问题，并提出了两种新颖的降低转换代价的算法，其回归分析证明了它们的近乎最优性能。

    Feb, 2023

  • 批量强化学习中的 Q * 逼近算法：一个理论比较

    本文涵盖了两种用于近似 Q 星算法在批量强化学习中表现的性能保证，并与传统的迭代方法进行了比较，证明了这些方法可以通过估计贝尔曼误差，仅依靠批数据和输出静态策略的算法，享受与任务无关的线性迭代时间性质。 其中一种算法使用了新颖而明确的重要性加权校正，以克服贝尔曼误差估计中的 “双重抽样” 难题，并且没有使用任何平方损失。 我们的分析揭示了与传统算法相比，其不同的特点和潜在优势。

    Mar, 2020

  • 使用 VB-FTRL 通过对数损失在线学习量子态

    对于在线学习量子态的对数损失函数（LL-OLQS），我们推广了 VB-FTRL 算法，该算法在多项式时间内实现了次最佳实力并具有 O（d^2log（d + T））的遗憾率。同时我们引入了 VB - 凸性的概念，以促进推广。

    Nov, 2023

  • 使用对数遗憾值的 $Q$- 学习

    该论文展示了第一个非渐近结果，证明了如果最优 $Q$- 函数存在严格正的次优性差，则无模型算法可以实现每段落的表格强化学习的对数累积后悔，并且我们将我们的分析扩展到折扣设置，并获得类似的对数累积后悔界限。

    Jun, 2020

  • LLQL: 强化学习的逻辑似然 Q-Learning

    该研究分析了在线环境和脱机环境中 Bellman 逼近误差的分布特性，并提出了一种新的损失函数 LLoss，其具有更小的方差，并且实验证实了在离线数据集中奖励应该遵循特定分布，这为进一步深入研究提供了有价值的见解。

    Jul, 2023

  • 慕尼黑强化学习

    本文提出一种利用当前策略对强化学习中未知状态值的估计方法，以及通过在 DQN 和 IQN 算法中添加缩放的 log 策略函数获得与分布式 RL 相竞争的新代理的实验研究和理论分析。

    Jul, 2020

  • 线性二次控制的强化学习易受成本操纵攻击

    本研究研究了通过操纵成本信号来欺骗线性二次高斯代理，并提出了一种攻击模型，其中攻击者旨在通过故意篡改成本参数来误导代理学习 “恶意” 策略。我们展示了在两种类型的 LQG 学习者上的敌对操纵，并证明了只需对成本数据进行 2.296％的篡改，攻击者就可以欺骗批处理 RL 学习导致车辆进入危险位置的 ' 恶意 ' 策略，并且可以通过持续提供接近实际成本信号的篡改信号来逐渐欺骗 ADP 学习者学习相同的 ' 恶意 ' 策略。本文旨在提高人们对受 RL 启用的控制系统面临的安全威胁问题的认识。

    Mar, 2022