Oct, 2022

评估深度强化学习中任务不完全规定的影响

PDF
TL;DR本研究探讨如何更准确地评估深度强化学习方法在真实世界中的应用，并提出了考虑参数化 MDP 家族的方法。研究结果表明，在 MDP 家族上对 DRL 方法进行评估，相对于在用户选择的 MDP 实例上进行评估，往往可以得到不同的方法排名，这为强化学习的实证研究提出了新的挑战。
deep reinforcement learningmarkov decision processesreal-world applicationstask-specific methodsempirical rigor
发现论文，激发创造
  • 特征强化学习：第一部分：非结构化 MDPs

    本文研究如何自动化减少任务的状态表达，以将通用的智能学习机设定为 MDP 框架，从而扩大许多现有强化学习算法和使用它们的机器人的范围，并开发一种形式化的客观标准作为搜索可行 MDPs 的指导，并在算法中将各个部分整合到一起。

    Jun, 2009

  • 强化学习中任务规范的统一

    介绍了一种 RL 任务形式化的方法，通过简单的构造实现了不同任务设置的统一，包括状态转移折扣的概括；并拓展了标准学习构造和部分理论结果，提供了一个可理解和可靠的形式化框架来构建理论和简化算法使用和开发。

    Sep, 2016

  • 基于深度强化学习的实际驾驶环境离散控制

    本篇研究提出了一个基于真实驾驶环境的 MDP 框架，使用多智能体学习算法来实现对自动驾驶车辆的训练，并提出了可靠的初始化、数据增强和训练技术来实现最小化的视频数据和培训，最终在 TORCS 虚拟驾驶环境中得到了验证。

    Nov, 2022

  • 强化学习任务导向对话管理基准测试环境

    本文旨在提供用于对话模型开发与评估的一组具有挑战性的模拟环境，其中包括常用的参数算法和非参数算法，并使用公共 PyDial 工具包实现了这些环境和策略模型，以建立一个实验测试平台并促进可重现性的实验。

    Nov, 2017

  • 基于分布鲁棒的强化学习基础探讨

    鉴于训练和部署之间环境变化的需求，我们对分布稳健强化学习（DRRL）的理论基础做出贡献。通过一个以分布稳健马尔可夫决策过程（DRMDPs）为核心的综合建模框架，我们严谨地构建了适用于决策者和对手的各种建模属性。此外，我们还研究了对手引起的偏移的灵活性，并检验了动态规划原理的存在条件。从算法的角度来看，动态规划原理的存在具有重要意义，因为大多数现有的数据和计算效率强化学习算法依赖于该原理。我们提供了从统一方法论出发的简化证明以及不存在全面广义动态规划原理的场景的反例。

    Nov, 2023

  • 具有策略预算的个性化强化学习

    个性化机器学习中，我们提出了一种名为 r-MDPs 的框架，通过与一小组代表性策略的交互来满足多样化的用户群体，并同时优化这些策略以最大化整体社会福利。通过两种深度强化学习算法，我们在多个模拟环境中进行了实证研究，展示了这些算法在有限的策略预算下实现有意义的个性化，并具有可扩展性，能够适应更大的策略预算。

    Jan, 2024

  • 强化学习规范转换框架

    提出了一个形式框架，为定义不同形式目标的 RL 任务之间的转换提供了形式化定义，研究了这种转换的保持最优策略、收敛和稳健性的概念，证明了从 LTL 规范到基于奖励的规范的某些缩减不存在，证明了 RL 算法不存在 PAC-MDP 保证安全规范。

    Oct, 2021

  • 环境临近目标培训的意想不到的收获

    通过添加可量化的参数噪声到训练的转移函数中，在新的环境中评估增强学习代理的推广能力。我们展示了在 60 个不同的 ATARI 游戏变体中，包括 PacMan、Pong 和 Breakout，通过在替代的噪声设置下训练代理能获得较好的结果。

    Jan, 2024

  • 多智能体深度强化学习的调查与批判

    本文对当前多智能体深度强化学习文献进行清晰的概述，回顾前沿组件的发展并提出新手引导和研究前景，同时提出了多个实际挑战。

    Oct, 2018

  • 通用隐含参数 MDPs：在少数试验中可转移的基于模型的强化学习

    该研究论文提出了基于模型的强化学习模型（Model-based RL）的变种，称为广义隐参数马尔可夫决策过程（Generalized Hidden Parameter MDPs，GHP-MDPs），该模型结合了层次模型和潜变量，并且在多个任务与环境中实现了初步验证，具有高效的泛化和学习效率。

    Feb, 2020