Nov, 2018

稀疏表示在强化学习控制中的应用

PDF
TL;DR本文研究确定在增强学习中控制的稀疏表示。通过对比标准神经网络表示和具有稀疏性质的神经网络表示，在经典控制域中递增地学习控制策略的表现，证明了稀疏表示更加有效，因为其提供了局部性，避免了灾难性的干扰，特别是保持了稳定的值来引导学习。同时，称之为 “分布式正则化器” 的方法可以鼓励隐藏节点的激活匹配分布，从而产生稀疏的激活状态。该方法提出了一种简单而有效的方式来获取稀疏表示。
发现论文，激发创造
  • 深度强化学习稀疏训练的现状

    在深度强化学习领域，这项工作系统地研究了应用多种现有的稀疏训练技术在各种强化学习代理和环境中的可行性，结果发现，稀疏网络比密集网络在相同数量参数下表现更好，我们提供了有关如何改善稀疏训练方法有效性以及推进其在深度强化学习中应用的有益思路。

    Jun, 2022

  • 在强化学习中学习稀疏表示

    本文探讨强化学习算法中的 TD Learning 和基础节疤核在强化学习中的作用，使用计算机模拟来验证利用稀疏的联合表示来学习在特定环境下获得预期奖励的好处。

    Sep, 2019

  • 元学习稀疏隐式神经表示

    本文提出了一种利用元学习思想和网络压缩技术相结合的方法，以达到在大量数据集上学习稀疏神经表达的目的，并表明与传统的密集神经网络相比，本方法在相同的参数规模下，能够更快地适应一系列未知信号从而使损失更小。

    Oct, 2021

  • 利用目标条件策略学习可操作表示

    本文研究功能性显著表征的强化学习方法，可以用于改善稀疏奖励问题的探索、实现具有长期视野的分层强化学习和作为下游任务的学习策略的状态表征。通过在多个虚拟环境中对比实验，表明该方法在表征学习、探索和分层强化学习方面具有优势。

    Nov, 2018

  • 学习少重叠表示

    探讨了一种新型正则化方法，通过鼓励支持 RL 模型的权重向量具有小重叠度，同时促进向量之间的近正交性和每个向量的稀疏性来解决学习表征中的解释性和过拟合问题，并将其应用于神经网络和稀疏编码模型中，提出了一种高效的 ADMM 算法进行规则化，并通过各种数据集上的实验证明，使用这种正则化方法学习的权重向量更具解释性，具有更好的泛化性能。

    Nov, 2017

  • 基于稀疏神经动力学的模型控制

    使用深度神经网络从观测中学习预测模型是解决现实世界规划和控制问题的一种有前景的新方法。本文提出了一个新的集成模型学习和预测控制框架，通过逐渐稀疏化神经网络以有效优化算法进行端到端的优化，从而在保证预测准确性的基础上取得更好的闭环控制性能。

    Dec, 2023

  • 使用稀疏扰动进行弱监督表示学习

    通过对连续潜在分布进行观测，在只有弱监督信号的情况下，可以识别与无源干扰相关的潜在因素，这可以通过对潜在变量的块状扰动实现，且可以提供一种基于此理论的自然估计过程。

    Jun, 2022

  • 如何使用高度稀疏的表现形式获益？

    本文发现，尽管目前大多数人工神经网络都采用密集表示，然而生物神经网络却采用稀疏表示。我们研究发现，只要稀疏表示的维度足够高，那么这种表示在噪声和干扰方面会更加稳健。同时，我们还提出了一个关键的洞察力，即围绕稀疏向量的可操作体积与表示空间体积之比随着维数呈指数下降。我们提出了一种包含稀疏权重和激活的计算效率高的稀疏网络，并在 MNIST 和 Google 语音命令数据集上进行了模拟，结果表明，与密集网络相比，这种网络在保持竞争性准确性的同时，表现出了更强的稳健性和稳定性。本文讨论了这种稀疏性在准确性、噪声稳健性、超参数调整、学习速度、计算效率和功耗要求等方面的潜在优势。

    Mar, 2019

  • 强化学习的动作表示学习

    研究了在没有给定先验结构的情况下，如何基于状态表示和行为表示实现模型无关的强化学习方法，并提供了相应的算法和收敛条件。

    Feb, 2019

  • 深度强化学习的动态稀疏训练

    本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少 40-50%。

    Jun, 2021