ICMLSep, 2017

一种结合门控循环单元（GRU）和支持向量机（SVM）的神经网络体系结构，用于网络流量数据中的入侵检测

PDF
TL;DR本文通过 Gated Recurrent Unit 对 2013 年京都大学蜜罐系统的网络流量数据进行二进制分类，将线性支持向量机替换为 GRU 模型最终输出层的 Softmax 函数， cross-entropy 函数也将替换为基于边缘的函数，结果显示 GRU - SVM 模型的性能相对较高，并且 SVM 在预测时间上优于 Softmax。
发现论文，激发创造
  • LSTM 神经网络进行无监督和半监督异常检测

    本文提出了一种基于长短时记忆神经网络（LSTM）的无监督异常检测算法，通过使用一类支持向量机算法和支持向量数据描述算法来实现决策函数，可以适用于处理可变长度的数据序列，并实现了对 OC-SVM 和 SVDD 算法参数的联合训练和优化，同时提供了半监督和全监督框架的扩展，取得了显著的性能提升。

    Oct, 2017

  • 门控循环单元（GRU）神经网络的门控变体

    本文通过减少更新和重置门中的参数，评估了三种变体的门控循环单元在递归神经网络中的性能。在 MNIST 和 IMDB 数据集上验证表明，这些门控循环单元的变体模型可以在降低计算成本的同时表现出与原始模型相当的性能。

    Jan, 2017

  • 统计复发单元

    通过 Bayesian optimization 方案优化模型超参数，我们展示了统计循环单元 (SRU) 相比于门控循环神经网络 (LSTM) 和门控 GRU 的高效性。

    Mar, 2017

  • 使用水平门循环单元学习长距空间依赖

    使用水平门控循环单元层，可以取得与甚至优于当前最先进的深度学习结构相当的效果，在长空间范围内检测相互依赖的视觉特征上表现出色。

    May, 2018

  • 通过修订门循环单元来提升语音识别

    本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

    Sep, 2017

  • 门控循环神经网络在序列建模中的实证研究

    本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

    Dec, 2014

  • 激光诱导击穿光谱中循环神经网络和经典机器学习方法的比较

    使用不同的递归神经网络 (RNN) 架构，基于激光诱导加热光谱 (LIBS) 技术对铝合金进行定量分析，并将其与支持向量回归器 (SVR)、多层感知器 (MLP)、决策树 (DT)、梯度增强回归 (GBR)、随机森林回归 (RFR)、线性回归和最近邻 (KNN) 算法进行比较。结果表明，基于卷积递归网络的机器学习工具在大部分元素预测方面的效果最好。

    Apr, 2023

  • SGRU：用于交通流预测的高性能结构化门控循环单元

    提出了一种名为 SGRU 的结构化门控循环单元，通过结构化 GRU 层和非线性单元以及多层时间嵌入来增强模型的拟合性能，在加利福尼亚四个公开交通数据集上的实验结果表明，该模型的性能优于基线模型，平均改进了 11.7％，18.6％，18.5％和 12.0％。

    Apr, 2024

  • 深度门控循环和卷积网络混合模型用于一元时间序列分类

    本文旨在阐述使用 GRU 替换 LSTM 来构造 GRU-FCN 的时间序列分类方法，在多个时间序列数据集上达到了最佳的分类效果。同时，由于 GRU 使用的是较简单的结构，它具有较少的训练参数、更短的训练时间和更简单的硬件实现，相较于基于 LSTM 的模型而言更加优越。

    Dec, 2018

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016