测试循环神经网络:基于覆盖率的测试
本文对于近三十年来产生和实践了重要的循环神经网络(RNN),LSTM 和 BRNN 等模型的研究进行综述,旨在提供一个自成体系的最前沿阐述和历史视角,并引用了相关研究文献。
May, 2015
在进行短程序评估方面,实验评估了 LSTM 在序列到序列范式中的表现和可学习性,并使用课程学习来提高网络性能,结果表明 LSTM 可以以 99% 的准确率训练生成能够计算两个 9 位数字加法的模型。
Oct, 2014
我们提出了一种实时连续控制和 “掌控” 序列生成的方法,使用一组循环神经网络和动态改变模型混合权重,并使用基于字符的长短时记忆网络和手势界面演示了该方法。
Dec, 2016
本文探讨采用长短期记忆(LSTM)深度神经网络来挖掘多元时间序列的临床医疗数据,特别是在重症监护病房(ICU)中的应用,通过将 128 个诊断结果与 13 个临床测试指标进行分类建模,获得了优于其他多层感知机的分类效果。
Nov, 2015
本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体,在训练过程中解决长序列中的梯度消失 / 爆炸问题,并详细介绍了 LSTM 中的门控单元,双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。
Apr, 2023
本文提出了一种从循环神经网络(RNN)模型中提取状态机(SM)的方法,以增加 RNN 模型的解释性,并改进了测试和监控 RNN 模型的能力,同时介绍了基于提取的 SM 的六个模型覆盖准则和基于提取的 SM 的错误概率预测模型。
Feb, 2024
本研究对长短期记忆网络的归纳学习能力进行了实证评估,发现在不同的训练设置下模型性能存在显著差异,并强调在提出神经网络模型的学习能力时需要进行仔细的分析和评估。
Nov, 2018
该技术报告描述了使用 MNIST 和 UW3 数据库对 LSTM 网络进行基准测试的结果,并探讨了不同架构和超参数选择对性能的影响。该研究表明:(1)LSTM 性能平滑地取决于学习率,(2)批处理和动量对性能没有显着影响,(3)softmax 训练优于最小二乘训练,(4)孔径单元无用,(5)标准非线性函数(tanh 和 sigmoid)性能最佳,(6)将双向训练与 CTC 相结合比其他方法表现更好。
Aug, 2015
该论文研究了循环神经网络和其变体在处理序列方面的强大性能,并提出了一种基于长短期记忆(LSTM)预测区间的控制图方法,用于监测具有时间变动性的数据,并表明该方法优于其他基于神经网络的预测监测方法,特别适用于检测平均值突变的异常情况。
Sep, 2023