Dec, 2023

基于梯度奖励信号的自动课程学习

PDF
TL;DR使用梯度范数奖励信号在深度强化学习的自动课程学习（ACL）中的影响研究。通过分析多个强化学习环境，发现梯度范数奖励对于教师模型制定具有挑战性且可达成的学习序列相当有效，进一步提高了学生的性能，加速了学习过程并改进了任务的泛化和适应性。这些研究结果突显出梯度范数信号在创建更高效和稳健的 ACL 系统中的潜力，为课程学习和强化学习领域的研究开辟了新的方向。
gradient norm reward signalsautomatic curriculum learning (acl)deep reinforcement learning (drl)learning curriculumgeneralization and adaptability
发现论文，激发创造
  • 深度强化学习的自动课程学习：简要调查

    本文介绍了自动课程学习（ACL）的相关文献，并对当前状态进行了概述，旨在促进现有概念的交叉和新思想的出现。ACL 是深度强化学习成功的中坚力量，可用于改善样本效率和渐进性能，组织探索，鼓励泛化或解决稀疏奖励问题，等等。

    Mar, 2020

  • 自动机导向下的强化学习智能体课程生成

    提出了 AGCL，一种基于确定性有限状态自动机（DFA）和面向对象马尔可夫决策过程（OOMDP）表示法的自动生成课程的方法，该方法在格子世界和基于物理仿真的机器人领域中的实验表明，AGCL 产生的课程在时间阈值性能上比最先进的课程学习和自动机引导强化学习技术实现了性能的提高。

    Apr, 2023

  • 尝试时重来，而不是尝试更久：自适应课程学习的先验学习

    该研究论文提出了一种两阶段自适应教学方法，以提高深度强化学习（DRL）智能体的性能，主要包括使用过程生成任务、自动课程学习（ACL）和探索课程等关键词。

    Apr, 2020

  • 神经网络的自动课程学习

    本篇论文提出了一种新的方法，通过评估学习进程来自动化选择神经网络学习课程，从而最大化学习效率。通过提供来自学习进展指标的信号以激励非静态多臂赌博机算法来的确定随机教学计划。对于 3 个课程上的 LSTM 网络的实验结果表明，我们的方法可以显著加快学习速度，在某些情况下，将实现令人满意的性能水平所需的时间减半。

    Apr, 2017

  • 无任务特定知识的自主强化学习自我监督课程生成

    提出了一种新颖的自主强化学习算法，能够根据智能体的学习进展生成自适应课程，使智能体能够高效地解决稀疏奖励迷宫导航任务，同时减少了手动复位。

    Nov, 2023

  • 基于精度的课程学习在深度强化学习中的应用

    本文研究了一种基于精度要求自适应选择的自动课程学习的新形式。使用基于 Deep Deterministic Policy Gradient 算法的强化学习代理和解决 Reacher 环境，我们首先展示了随机采样不同精度要求训练的代理比一直很精确的代理学习更加高效；然后，我们展示了基于局部能力进度的自适应精度要求选择可以自动生成一个难度不断递增的课程，从而提高学习效率。

    Jun, 2018

  • 改进社交机器人导航的强化学习训练方式

    自主移动机器人在人类空间中导航必须遵守社会规范。本研究提出了一种使用课程学习来改善强化学习社交导航方法的泛化性能的方法。通过使用多种环境类型和多种动力学模型对行人进行建模，逐步增加训练的多样性和难度。研究结果表明，与之前的训练方法相比，使用课程学习进行训练可以取得更好的泛化性能。此外，我们还验证了训练方法在比训练中使用的更大更拥挤的测试环境中的有效性，从而对模型的性能进行更有意义的衡量。

    Aug, 2023

  • TGRL：一种教师引导增强学习算法

    通过权衡强化学习和师生学习目标的重要性，我们提出了一种有原则的方法，实现了在何时遵循教师和何时使用奖励进行动态自动平衡，这种方法名为‘教师引导强化学习’（TGRL），无需超参数调整在不同领域都能超越强基线。

    Jul, 2023

  • 通过设置器 - 求解器交互自动生成课程

    研究探讨了如何在动态的环境下使用自动生成的任务大纲来改善智能体的效果，介绍了使用目标的有效性、可行性和覆盖面的考虑来构建有用的任务大纲的新技术，并在 2D 和 3D 环境中展示了成功应用。

    Sep, 2019

  • 利用渐进领域自适应的最优传输进行课程强化学习

    该研究将课程机器学习作为优化输运问题来量化和生成任务分布之间的移动，并提出了一种称为 GRADIENT 的算法来处理连续和离散背景下的非参数分布。 实验结果表明，该算法在学习效率和渐进性能方面均优于基线。

    Oct, 2022