ICMLJun, 2016

在线序列预测的平滑模仿学习

PDF
TL;DR研究在线序列预测的平滑模仿学习问题，通过学习缩减的方法将其降低到回归问题，并采用正则化复杂函数类以确保平滑度。提出了一种元算法，实现快速稳定地收敛到好的策略，相比于以前的方法，具有全部确定性、自适应学习率等优点，并能保证稳定收敛，实证结果证明了性能得到了显著的提高。
smooth imitation learningonline sequence predictionpolicylearning reduction approachadaptive learning rate
发现论文，激发创造
  • 将模仿学习和结构化预测转化为无遗憾在线学习

    本文提出了一种新的迭代算法，该算法在在线学习环境中训练一个稳定的确定性策略，结合特定的降维假设，找到了具有良好性能的策略，克服了之前方法的一些不足，实验表明该方法在两个挑战性的仿真学习问题和基准序列标记问题上表现优异。

    Nov, 2010

  • 无模型模仿学习与策略优化

    在模仿学习中，我们使用基于样本的方法开发了一种基于策略梯度的算法，即通过学习专家的样本轨迹，找到至少与专家策略一样好的参数化随机策略；该算法可以应用于高维度环境，并保证收敛到局部最小值。

    May, 2016

  • 增强模仿学习策略的在线适应性

    我们提出通过在线调整来弥补模仿学习中的失败，我们的方法将预训练策略的动作建议与专家记录的相关经验相结合，通过适应的行为更好地模仿专家策略，实验表明适应的智能体表现比纯模仿学习的对应体更好，特别是在基础策略灾难性失败时，适应的智能体仍然能够实现合理的性能。

    Jun, 2024

  • 离线强化学习问题的序列建模方法

    本文介绍了如何使用序列建模来解决强化学习问题，使用 Transformer 架构来建模轨迹上的分布，并改造了波束搜索作为规划算法，在长时间序列预测、模仿学习、目标条件下的强化学习和离线强化学习等方面展示了该方法的灵活性和高效性，同时将该方法与基于模型的算法相结合，使其在稀疏奖励、长时间序列任务中表现为最先进的计划器。

    Jun, 2021

  • 利用预测模型加速模仿学习

    本文介绍两种基于模型的算法，利用 Follow-the-Leader（FTL）规则来提高在线模仿学习系统的收敛速度，其中 MoBIL-VI 算法基于解决变分不等式，而 MoBIL-Prox 算法基于随机一阶更新，这两种方法都利用模型来预测未来的梯度，可以使该学习算法的样本利用率更高。

    Jun, 2018

  • 通过交互无悔学习实现强化学习和模仿学习

    通过交互式学习和无悔在线学习的分析方法，本文扩展了现有结果，发展了利用成本信息的交互式模仿学习方法，并将该技术扩展到应对强化学习，提供了对在线近似策略迭代成功的理论支持，建议了一系列新的算法，并提供了对模仿学习和强化学习现有技术的统一视角。

    Jun, 2014

  • 序列建模是离线强化学习的强有力竞争者

    该研究从数据子优劣性和任务复杂性两个方面探讨了离线强化学习的三种主要范式：Q-Learning、Imitation Learning 和 Sequence Modeling 的表现，并发现当接收到低质量数据并且奖励稀少时，Sequence Modeling 更优，因为它需要更多的数据但更加稳健且可以更好地适应任务复杂度。

    May, 2023

  • 使用连续奖励策略梯度学习在线对齐

    本研究提出一种使用硬实时在线对齐而非软离线对齐的序列到序列问题解决方法，使用硬二元随机决策来选择输出时间步，使用标准策略梯度方法训练该模型，以实现高精度的基于语音的实时翻译。在实验中，该模型在 TIMIT 和 WSJ 语音识别数据集上表现出令人鼓舞的性能。

    Aug, 2016

  • 平滑在线学习的简易性与统计学习相当

    本论文研究了在线设置下学习过程中涉及到的平滑度、最小极大后悔以及上下文干涉等问题，并提出了对应算法的解决方案。

    Feb, 2022

  • 利用不完美预测进行平滑的在线组合优化

    研究了具有预测模型的平滑在线组合优化问题，提出一种在线算法在规划窗口和开关代价之间实现平衡，通过对合成在线分布流问题进行实证，证明在累积规避中取得了显着的改进。

    Apr, 2022