本篇论文提出了一种名为 Light GRU 的改进型 GRU 神经网络模型,通过删除 reset gate 和使用 ReLU 激活函数,从而提高自动语音识别任务的训练效率和识别准确率。
Mar, 2018
本文提出了一种简化的 Gated Recurrent Units 架构,用于语音识别。通过去除重置门和引入 ReLU 激活函数,我们的实现在训练时间上提高了 30%以上,并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。
Sep, 2017
通过 Bayesian optimization 方案优化模型超参数,我们展示了统计循环单元 (SRU) 相比于门控循环神经网络 (LSTM) 和门控 GRU 的高效性。
Mar, 2017
本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为,并提出两种简单而有效的网络结构修改:LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。
Sep, 2016
使用连续时间分析,我们对 Gated recurrent units (GRUs) 的内部运作获得了直观的理解。我们发现了一些意想不到的动态特征,同时我们无法训练 GRU 网络产生连续的吸引子,这也是生物神经网络存在的假设。
Jun, 2019
提出了一种名为 SGRU 的结构化门控循环单元,通过结构化 GRU 层和非线性单元以及多层时间嵌入来增强模型的拟合性能,在加利福尼亚四个公开交通数据集上的实验结果表明,该模型的性能优于基线模型,平均改进了 11.7%,18.6%,18.5%和 12.0%。
Apr, 2024
该研究论文提出了一种基于 Gated Recurrent Units (GRU) 的高效序列推荐框架 GLINT-RU,该框架通过密集选择性门机制加速推理速度,并在全局用户 - 物品交互信息基础上提升推荐质量,实验证明 GLINT-RU 在推荐系统中的表现超越了以往的基线模型,为序列推荐领域提供了一种创新的方法。
Jun, 2024
本文比较了不同类型的递归神经网络中的递归单元,特别是实现门机制的更加复杂的递归单元,例如长短时记忆(LSTM)单元和最近提出的门控循环单元(GRU),我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估,实验证明这些先进的递归单元确实比传统的 tanh 单元更好,同时我们发现 GRU 与 LSTM 相当。
Dec, 2014
本文提出了一种基于层次化门控循环单元的框架,解决了对话系统中表述级情感识别面临的诸多挑战,包括同一词汇在不同上下文中可能带有不同情感、一些情感在一般对话中很少出现以及难以捕捉到长程的上下文信息等,通过在底层 GRU 模型对词汇级输入进行建模,然后在上层 GRU 模型中捕捉表述级嵌入的上下文信息来解决这些挑战,并且进一步提出了 HiGRU-f 和 HiGRU-sf 两种变体来更好地利用词 / 表述级别的信息和长程上下文信息,并在三个对话情感数据集上进行了实验,结果表明我们提出的 HiGRU 模型在每个数据集上都至少比现有的最先进方法提高了 6.0%的效果。
Apr, 2019
使用水平门控循环单元层,可以取得与甚至优于当前最先进的深度学习结构相当的效果,在长空间范围内检测相互依赖的视觉特征上表现出色。
May, 2018