NIPSNov, 2016

使用序列稀疏恢复的可解释循环神经网络

PDF
TL;DR本文提出了一种基于 SISTA 的可解释循环神经网络来解决序列稀疏恢复问题，这种结构的权值可以视为一个有原则的统计模型的参数。与传统的基于 “黑匣子” 模型的 RNN 相比，SISTA-RNN 在特定的连续压缩感知任务中训练速度更快，且表现更好。
发现论文，激发创造
  • 半隐式随机递归神经网络

    本文提出一种基于半隐式变分推理的半隐式随机递归神经网络模型，该模型使用潜在的随机变量表示数据，具有更加灵活的表达能力，并在真实世界数据集中的不同任务中表现出优于现有方法的性能。

    Oct, 2019

  • 从神经数据推断随机低秩循环神经网络

    我们提出使用变分顺序蒙特卡洛方法拟合随机低秩递归神经网络，验证了该方法在多个数据集上的有效性，并展示了对具有分段线性非线性性质的低秩模型进行高效识别的方法，可为大型递归神经网络的推断动态分析提供可行性。

    Jun, 2024

  • 可训练 ISTA 用于稀疏信号恢复

    本文提出了一种名为 TISTA 的新型稀疏信号恢复算法，采用了可调整参数控制步长和误差方差的最小均方误差收缩单元，并通过标准深度学习技术调整这些变量，实验表明，TISTA 适用于各种传感矩阵，并且收敛速度明显快于 AMP 和 LISTA。

    Jan, 2018

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017

  • 基块稀疏循环神经网络

    研究使用 “修剪” 和 “组稀疏化正则化” 这两种方法来诱导 RNN 网络中的块稀疏性，形成 80% 到 90% 不等的稀疏度；该技术能够消除与数据存储和不规则内存访问相关的额外开销，同时提高硬件效率和降低参数总数。

    Nov, 2017

  • 学习到的可解释剩余 Extragradient ISTA 稀疏编码

    本文提出一种基于梯度外推的残差结构具有理论保证和解释能力的 LISTA 算法 (ELISTA)，可用于解决稀疏编码问题，具有线性收敛性，并在实验中实现了验证。

    Jun, 2021

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 使用门控循环神经网络从可解释结构中学习

    本文研究从深度学习模型中学习可解释结构的方法，针对门控循环神经网络内部机制不明确的问题，发现有限状态自动机具有更可解释的内部机制并提出了基于不同聚类方法的两种学习有限状态自动机的方法，在人类生命和危险领域的应用中，有限状态自动机在一定程度上可替代循环神经网络。

    Oct, 2018

  • 自私稀疏循环神经网络训练

    本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext-2 数据集上实现了优于 dense-to-sparse 方法的最新稀疏训练结果。

    Jan, 2021

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015