离散傅里叶变换分析循环神经网络归纳偏置的实证研究

May, 2023

离散傅里叶变换分析循环神经网络归纳偏置的实证研究

Empirical Analysis of the Inductive Bias of Recurrent Neural Networks by Discrete Fourier Transform of Output Sequences

Taiga Ishii, Ryo Ueda, Yusuke Miyao

TL;DR本研究旨在揭示循环神经网络的归纳偏差，即输出序列频率，LSTM 和 GRU 的归纳偏差偏向于低频模式，而 Elman RNN 则倾向于学习高频输出模式，同时发现 LSTM 和 GRU 的归纳偏差会随着层数和隐藏层大小的变化而改变。

Abstract

A unique feature of recurrent neural networks (RNNs) is that it incrementally processes input sequences. In this research, we aim to uncover the inherent generalization properties, i.e., inductive bias, of RNNs w

recurrent neural networks inductive bias output sequence frequency long short-term memory gated recurrent unit

发现论文，激发创造

探索基于循环神经网络的计数行为的长期泛化能力

本研究探究了 LSTM、ReLU 和 GRU 模型在长序列计数任务的泛化能力，并发现虽然先前的理论工作已经建立了具有适当配置的 RELU 激活和 LSTM 的计数能力，但是 LSTM 模型在实验中仍无法学习到正确的计数行为，并且从验证损失及不同模型的失效方式等角度对问题进行了讨论。

Nov, 2022

循环神经网络在序列学习中的关键评估

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

离散事件，连续时间的循环神经网络

本文研究了用于事件序列处理的循环神经网络架构，描述了四种归纳偏差的形式，介绍了一种连续时间 GRU，并将这些偏差通过内在时间动态和事件时间戳扩展到 GRU 中，最终指出集成连续时间动态的神经网络架构具有潜在优势。

Oct, 2017

循环神经网络是否能够扭曲时间？

本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

Mar, 2018

线性 RNN 的隐性偏差

研究说明传统的循环神经网络（RNNs）在需要长期记忆的任务上表现不佳的原因是因为其随机初始化后的转移矩阵方差造成了梯度消失和梯度爆炸的问题，而使用线性 RNNs 代替时会出现更短的记忆偏差，这一理论经过人工数据和真实数据的验证。

Jan, 2021

门控循环神经网络在序列建模中的实证研究

本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

Dec, 2014

循环神经网络生成与判别文本分类

本文对识别分类文本的判别式和生成式 LSTM 模型的性能进行了实证研究，证明生成式模型对单词之间的条件依赖意识更强，但其渐进错误率高于判别式训练的 RNN 模型。我们发现生成式模型的方法可以更快地接近其渐进错误率，而且能更好地适应数据分布的变化，这一假设在零样本和连续学习设置的实验中得到了证实，并表明生成式模型优于判别式模型。

Mar, 2017

当存在怀疑时的应对方法：seq2seq 学习者归纳偏差研究

本研究通过研究 SEQ2SEQ 学习者对高模糊性任务的偏好，发现 LSTM、Transformer 和 CNN 等模型有不同的归纳偏好。在所有实验中，本研究使用描述长度作为归纳偏差的敏感度度量。

Jun, 2020

Independently Recurrent Neural Network (IndRNN): 构建更长更深的循环神经网络

本文介绍了一种称为 Independently Recurrent Neural Network 的新型递归神经网络，其具有分层连接、神经元不相互依赖以及可适用于非饱和激活函数等特点，实验结果表明该网络较传统的递归神经网络、长短时记忆网络在多种任务上表现更好。

Mar, 2018

关于 RNN 语言模型归纳偏差的理论结果

循环神经网络（RNNs）作为语言模型（LMs）的经验成功可能与其能够有效地表示人类语言中的有界分层结构有关，并且可以推广其构造以表示更大类别的 LMs，即可以用带有边界堆栈和广义堆栈更新函数的推挤自动机来表示。然而，RNNs 在表示多样化的非分层 LM 类别时的效率表明其缺乏具体的认知和以人类语言为中心的归纳偏见。

Feb, 2024