ICLRNov, 2018

学习循环策略网络的有限状态表示

PDF
TL;DR本文介绍了一种新技术 ——Quantized Bottleneck Insertion，可以学习到具有限表示的递归神经网络，其结果是递归神经网络的量化表示，该表示可用于分析内存使用和行为的更好理解。通过将此方法应用于合成环境和六个 Atari 游戏，我们发现这些有限表示，在某些情况下令人惊讶地很小，完美的 Pong 策略仅使用 3 个离散内存状态和 10 个观测。此外，我们还展示了这些有限策略表示导致了较好的可解释性。
发现论文，激发创造
  • 重新理解循环策略网络的有限状态表达

    该研究提出了一种通过分析未经最小化的有限状态机以及应用更可解释的规约方式比通过将递归策略网络转换为有限状态机之后进行分析更好地理解受控策略并达到更加深刻认识的方法，另外还提供了一种注意力工具，用于刻画观察对决策的影响，并在 7 个 Atari 游戏和 3 个控制基准测试中进行了验证。

    Jun, 2020

  • 使用多层读出的水库计算深度 Q 网络

    这篇论文提出了一种引入储备计算的重放记忆方法，在这种方法中，使用多层神经网络作为读出层可以提高基于递归神经网络的强化学习在四种控制任务中的学习性能。

    Mar, 2022

  • 深度循环神经网络结构预测中的状态别名研究

    通过实验和分析，本论文研究了基于循环神经网络 (RNNs) 代理的表示学习，尤其是在政策梯度和基于价值的方法下对循环神经网络进行了训练。我们展示了当使用政策梯度进行训练时，循环神经网络往往无法学习到导致最优策略的状态表示。这一现象被称为状态别名问题，我们通过实验表明它在政策梯度下出现，同时在迷宫设置和更复杂的文本游戏上提出了训练 RNN 代理的建议。

    Jun, 2019

  • 状态规则化递归神经网络

    通过使用一种被称为状态规范化的机制来处理以前递归神经网络（RNNs）的不足，从而提高 RNNs 的状态转移动态分析和解释性，并将其应用于自动机抽取，自然语言处理和计算机视觉中。

    Jan, 2019

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 循环强化学习：一种混合方法

    本文研究了一种深度学习方法，将强化学习和监督学习结合，通过长短时记忆网络对隐藏状态的表示进行学习，在部分可观测任务中表现出了很好的性能。

    Sep, 2015

  • 循环神经语言模型作为概率有限状态自动机

    本文研究了 RNN 语言模型对概率分布的表示能力，发现简单的 RNN 等效于概率有限状态自动机，能够表示有限状态模型可表达的概率分布的严格子集，同时研究了用 RNN 表示确定性有限状态语言模型的空间复杂度。这些结果对于了解 RNN 语言模型的能力和限制具有重要意义。

    Oct, 2023

  • 使用循环神经网络学习图级表示

    本文提出了一种结合无监督和有监督学习组成的方法，通过利用 random walk 方法和 Gumbel-Softmax 分布将图节点映射到节点序列，然后使用修改后的 RNN 神经网络单位学习节点表示方法和它们的邻域信息，实验表明该方法优于或与现有算法相当，具有收敛速度快和准确度高的优点。

    May, 2018

  • 透过连续粒子滤波在循环神经网络中进行隐状态近似

    本文介绍一种基于历史数据，使用逐步加粗的粒子来近似表示潜在状态分布的序列预测模型，利用连续可微分的方案，根据贝叶斯规则，自适应提取有价值的信息和更新潜在状态，并在预测任务中取得了良好的效果。

    Dec, 2022

  • 神经网络想象的可视化

    通过用循环神经网络 (RNN) 架构和解码器对网络的中间表示进行训练来可视化网络代表的环境状态，提出定量解释性指标并证明隐藏状态在简单任务上具有较高的可解释性，同时开发自编码器和对抗技术并展示其对解释性的好处。

    May, 2024