Apr, 2018

结构化演化与紧凑体系结构的可扩展策略优化

PDF
TL;DR采用结构化随机正交矩阵的梯度逼近黑盒优化方法可以学习到比标准梯度估算技术更好的紧凑策略，从而提高了在资源有限的实际硬件上的速度和可伸缩性。
blackbox optimizationgradient approximationcompact policiesneural networksderivative-free optimization
发现论文，激发创造
  • 使用广义优势估计进行高维连续控制

    本文探讨了如何使用深度神经网络和政策梯度方法，通过数值函数和置信区间优化解决了强化学习中大量样本和非稳定性问题，取得了在高难度 3D 运动任务中显著的实证结果。

    Jun, 2015

  • 二阶优势信息的策略优化

    本文提出了一种基于控制变量和 Rao-Blackwell 定理的策略优化方法，将其融合到一个统一的框架中，以降低高维连续控制任务中的策略梯度估计器方差，并成功将其应用于高维综合设置和 OpenAI Gym 的 MuJoCo 连续控制任务中。

    May, 2018

  • 小型印记深度学习的结构变换

    提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

    Oct, 2015

  • 无梯度策略架构搜索与自适应

    通过梯度自由优化实现政策体系结构搜索和适应，可以学习执行自主驾驶任务。通过从演示和环境奖励中学习，开发了一个模型，可以学习相对较少的早期灾难性失败，并学习适当复杂度的体系结构，调整源领域中演示的政策以适应目标环境中获得的奖励，在逼真的模拟环境中学习驾驶，以提供比基线方法更安全的学习，降低累计崩溃指标。

    Oct, 2017

  • 基于轨迹的离线深度强化学习

    本文提出一种改进的基于 policy gradient 的强化学习算法，通过在参数空间中探索、重用过去的 off-policy 数据和确定性的行为策略等技术，提高了数据效率、降低了梯度估计的方差并避免了局部最优解。在一系列连续控制基准任务上的实验表明，相较于标准的 policy gradient 方法，该算法能够成功可靠地使用更少的系统交互来学习解决方案。

    May, 2019

  • 演化策略作为可扩展替代强化学习的方案

    使用黑盒优化算法 —— 进化策略，替代流行的基于 MDP 的 RL 技术，通过 MuJoCo 和 Atari 上的实验表明，ES 是一种可行的解决策略，随着可用 CPU 数量的增加而呈线性规模，同时 ES 具有不变性、容差性以及无需强化学习概念的优越性。

    Mar, 2017

  • 用线性策略网络解决深度强化学习基准

    该研究通过神经进化的方式使用演化策略（ES），优化神经网络的权重来进行直接策略搜索，结果表明 ES 能够在许多强化学习基准任务中找到有效的线性策略，相比深度强化学习方法，ES 实现效果与梯度下降算法相当，并且通过直接访问游戏的内存状态，在 Atari 游戏中胜过了 DQN。

    Feb, 2024

  • 策略梯度方法的矩阵低秩近似

    基于低秩矩阵模型的策略优化方法降低了神经网络模型的计算和样本复杂度，同时实现了类似的累积奖励。

    May, 2024

  • 控制任务中的循环架构的神经进化

    该研究提出了一种新方法，即利用少量的突变规则来动态演化循环神经网络的结构，其结果表明，这种方法可以在大多数情况下匹配或超过梯度下降方法的性能，同时使用数量级更少的参数，该方法有望在对网络紧凑性和自主设计至关重要的实际应用方面开辟新的途径。

    Apr, 2023

  • 结构化动作空间的多样化策略优化

    本文旨在提出一种名为 DPO 的简单而有效的强化学习方法，用于在具有结构动作空间的 RL 任务中寻求多样性的策略。在实验中，DPO 在 ATSC 和 Battle 基准测试中都能够有效地发现多样的策略，在挑战性场景中显著优于现有的最先进方法。

    Feb, 2023