ICMLJun, 2020

评估强化学习算法的性能

PDF
TL;DR本文提出了一种全新的强化学习算法综合评估方法，旨在解决现有评估指标不当的问题并确保性能结果的一致性和可重复性，且通过在标准基准任务上运用这种方法评估了广泛的强化学习算法。
performance evaluationsreinforcement learningevaluation methodologyalgorithmic advancesbenchmark tasks
发现论文，激发创造
  • 评估真实世界机器人上深度强化学习算法的可重复性调查

    本文探讨了强化学习中的无法重现性问题，提出了使用严格规范的评估方法来确保算法之间的公正比较，并强调了选取适当的度量标准和进行合适的统计分析来做出无偏见的结果报告。

    Sep, 2019

  • 测量强化学习算法的可靠性

    本文通过提出一套度量强化学习算法可靠性的评估指标以及相应的统计测试，对可靠性的不同方面进行了量化测量，并对常见算法和环境进行实证研究和分析。

    Dec, 2019

  • 位置：强化学习研究中的基准测试受限

    通过对 rigorous experiment designs 的计算成本的探究，本研究提倡使用额外的实验范式来克服 benchmarking 的局限性。

    Jun, 2024

  • 统计临界点边缘深度强化学习

    本文通过案例研究 Atari 100k 游戏数据集，强调在少量训练运行的深度强化学习算法中，为保证结果准确性和防止领域进展停滞，不可忽略数据的不确定性，提出用区间估计来评估强化学习算法的表现，并在常用数据集上分析了已有算法的性能，提出更为严谨的性能评估方法，并配有开源库 rliable。

    Aug, 2021

  • 评估分布偏移对强化学习性能的影响

    针对分布转换情况下的强化学习进行严格评估的方法研究。

    Feb, 2024

  • 有意义的深度强化学习

    本研究主要探讨如何提高深度强化学习领域中对实验结果的可重现性，为此研究了现有方法的可重现性、实验技术和报告程序，并提出了指导方针以使未来的研究结果更易于重现和解释。

    Sep, 2017

  • 评估强化学习稳定性、鲁棒性和恢复力的指标综述

    本文对于强化学习的健壮性、稳定性和韧性进行了全面的文献综述，通过分类已有的定量和理论方法来评估和衡量这些行为，并提供了一个有用的决策树来选择衡量这些行为的指标，这是首个针对强化学习的稳定性、健壮性和韧性的全面综述。

    Mar, 2022

  • 在真实世界机器人上对强化学习算法进行基准测试

    通过在多个商业机器人上实施我们引入的多个强化学习任务，通过对其四种增强学习算法的学习性能进行测试并分析其对超参数的灵敏度，揭示出这些算法的实际应用性。我们发现现代学习算法对超参数非常敏感，为了获得最佳性能需要为每个任务重新调整参数。

    Sep, 2018

  • 一年间能发生多大变化？重新审视多智能体强化学习中的评估

    确立良好的实验标准和严谨性对于任何不断发展的研究领域都非常重要。深度多智能体强化学习是一个新兴的研究领域，虽然取得了令人激动的进展，但近期在合作设置方面，它受到了可复制性问题和缺乏标准化评估方法的质疑。尽管已经提出了一些协议来缓解这个问题，但积极监测该领域的健康状况仍然非常重要。本研究通过扩展之前已发表的评估方法数据库，包含了来自顶级会议的深度多智能体强化学习出版物的元数据，并将从此更新的数据库中提取到的结果与其工作中的趋势进行比较。我们的分析表明，许多性能报告方面令人担忧的趋势仍然存在，包括不报告不确定性量化、未报告所有相关评估细节和算法开发类别的狭窄。值得期望的是，我们观察到 SMAC-v1 中更困难场景的趋势，如果这一趋势延续到 SMAC-v2，将鼓励新颖的算法开发。我们的数据表明，多智能体强化学习社区需要更加积极地面对可复制性，以确保在我们迈向令人激动的新领域时对该领域的信任。

    Dec, 2023

  • 强化学习中的经验设计

    本文旨在提出在强化学习中进行良好实验的方法，并强调常见错误和潜在统计结果，覆盖了如何对性能进行妥善表征、假设检验、比较多个代理、基准和说明性例子的构建、如何处理超参数和实验偏差等等，旨在通过充分利用计算资源来进行良好的实证研究。

    Apr, 2023