强化学习中的一次性回馈理论

May, 2021

On the Theory of Reinforcement Learning with Once-per-Episode Feedback

Niladri S. Chatterji, Aldo Pacchiano, Peter L. Bartlett, Michael I. Jordan

TL;DR我们研究了一种强化学习的理论，学习者只在每次学习完成后收到一次二元反馈。我们提供了一种具有统计和计算效率的算法，可以在这种更具挑战性的情况下实现学习。该算法可以在未知参数模型生成的轨迹标签上运行，并达到亚线性遗憾。

Abstract

We study a theory of reinforcement learning (RL) in which the learner receives binary feedback only once at the end of an episode. While this is an extreme test case for theory, it is also arguably more represent

reinforcement learning binary feedback real-world applications self-driving cars computational efficiency

发现论文，激发创造

轨迹反馈的强化学习

本文提出了一种基于轨迹反馈的强化学习算法，通过加强措施而无需为每个状态 - 动作对提供奖励，旨在处理现实世界的环境下反馈不及时的问题，同时，我们还分析了此算法的性能并提供优化 - 汤普森采样方法来处理未知转移模型的情况。

Aug, 2020

基于规划的探索：关于最优轨迹信息的研究

通过规划最大化任务最优轨迹的期望信息增益的行动序列，使得该方法在较低的样本量下能够学习较强的策略，比探索基线算法少用 2 倍样本，比模型自由方法少用 200 倍样本。

Oct, 2022

你只能活一次：单生强化学习

该研究提出了一种称为单次生命强化学习（SLRL）的新问题设置，探讨了在未知状态下如何适应的挑战，并使用 Q-weighted adversarial learning （QWALE）算法来应对这一挑战，该算法通过先前的经验来指导在新情况下的决策，实验结果表明优于现有方法 20-60%。

Oct, 2022

强化学习中的单集策略转移

为了实现在只进行一次尝试的测试时间内进行最优化，特别是在没有对丰富奖励的访问权下，我们提出了一种通用算法，该算法通过优化探针和推理模型来快速估计测试动态的潜在变量，然后立即将其用作通用控制策略的输入。这种模块化方法可以集成最先进的变分推理算法或强化学习算法，并且不需要在测试时间访问奖励，可以在现有的自适应方法无法适应的设置中执行，是一种优秀的迁移方式。

Oct, 2019

具有前瞻信息的强化学习

通过利用先验信息，我们设计了一种能够有效地学习和处理未知环境中的强化学习问题的算法，大大提高了收集奖励的效率。

Jun, 2024

透视强化学习的庞特里亚金方法

传统上，强化学习集中于学习状态相关策略以解决闭环最优控制问题；本文提出了开环强化学习范式，通过学习固定行动序列，引入了三种新算法：一种鲁棒的基于模型的方法和两种高效的无模型方法。基于开环最优控制理论中的庞特里亚金原理，而非动态规划中的贝尔曼方程，我们提供了收敛性保证，并在振子摆起任务以及两个高维 MuJoCo 任务上通过实证评估展示了与现有基线方法相比显着的性能。

May, 2024

具有不确定情节长度的在线强化学习

研究了应用于随机 episode 长度的模型下的强化学习框架，设计出相应的 regret 最小化的强化学习算法，并用于价值迭代算法在网格环境下的对比。

Feb, 2023

强化学习中奖励展望的价值

通过竞争分析的视角，我们量化分析了先见之明的未来回报信息的价值，并且得出了标准 RL 代理和具有部分未来回报展望的代理之间的比率。我们刻画了最坏情况下的回报分布，并得出了最坏情况下回报期望的精确比率。结果令人惊讶的是，所得比率与离线 RL 和无回报探索中的已知数量相关。我们还提供了给定最坏动态情况下的比率的严格界限。我们的结果涵盖了在行动之前观察即时回报到在交互开始之前观察所有回报之间的所有情况。

Mar, 2024

反馈即所需：基于近似物理模型的真实世界强化学习

本文提出了一种基于策略梯度的策略优化框架，可以通过可能高度简化的一阶模型对实际数据进行监督学习，从而设计出精确的控制策略。

Jul, 2023

事后经验回放

本文提出了一种名为 Hindsight Experience Replay 的新颖技术，它可以有效地学习来自于稀疏二元奖励的知识，避免了复杂奖励工程，并且可以与任意离线 RL 算法相结合，被视为一种隐式的课程。通过在三种不同的任务上进行实验，推动、滑动和拿取 - 放置，每个任务只使用指示任务是否完成的二元奖励，我们演示了该方法在操作机器人手臂上的实际应用。我们的消融研究表明，Hindsight Experience Replay 是训练在这些有挑战性的环境中成功的关键因素，并且我们展示了在物理仿真中训练的策略可以部署在物理机器人上，并成功地完成任务。

Jul, 2017