NIPSNov, 2016

使用隐马尔可夫模型提高循环神经网络的可解释性

PDF
TL;DR本文介绍了一种利用长短时记忆模型和隐马尔科夫模型相结合的方法来提高循环神经网络的可解释性的途径，并在文本数据和医疗时间序列数据上测试了该算法，发现 LSTM 和 HMM 学习文本特征的信息互为补充。
deep neural networksinterpretabilitylong short-term memoryhidden markov modelcomplementary information
发现论文，激发创造
  • 利用隐马尔科夫模型提高循环神经网络的可解释性

    通过将循环神经网络与隐马尔科夫模型相结合，旨在增加其可解释性，发现 LSTM 和 HMM 可以学习互补的文本特征信息。

    Jun, 2016

  • 短期交通流量预测的混合隐马尔可夫 LSTM 模型

    这篇研究提出了一种混合隐藏马尔可夫 - LSTM 模型，用于交通流预测，相比于传统方法，如 Markov 切换 ARIMA 和 LSTM，该模型具有显着的性能提升。

    Jul, 2023

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 快速准确的循环神经网络语音识别声学模型

    该论文介绍利用深度 LSTM 循环神经网络、CD 电话建模、帧叠加与减少帧率等技术来提高语音识别准确率的研究，并探讨了直接输出单词的 LSTM RNN 模型的初步结果。

    Jul, 2015

  • 基于长短时记忆的深度循环神经网络构建及其在大词汇语音识别中的应用

    本研究针对多 GPU 设备下，探讨了基于深度 LSTM 的语音识别任务，通过构建深度循环神经网络来提升深层次模型效率，实验结果表明深度 LSTM 网络的性能优于浅层次模型。

    Oct, 2014

  • 基于贝叶斯神经网络的语言模型用于语音识别

    提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AMI 会议转录和 LRS2 超叠话音频道的语音识别任务中实验验证，相对于基线 LSTM-RNN 和 Transformer LMs，在困惑度和字错误率方面均取得了一致的性能提升。

    Aug, 2022

  • 缩放隐马尔可夫语言模型

    本研究重新探讨使用最新的神经模型方法实现隐藏马尔可夫模型（HMM）规模化的挑战，提出了一种方法来快速有效地在大规模状态空间中对 HMM 进行精确推断、紧凑参数化以及有效规范化，取得的实验证明，该方法比之前的 HMM 和 n-gram 方法更准确，为实现最先进的神经模型的性能作出了贡献。

    Nov, 2020

  • 深度循环神经网络语音识别

    本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

    Mar, 2013

  • 自然语言处理方法实现恶意软件分类

    通过混合架构，将概率模型中的隐藏状态序列提取为特征向量，从而在恶意软件检测中取得了比其他流行技术更好的结果。

    Jul, 2023

  • 理解循环神经网络中的隐藏记忆

    本文提出了一种基于可视化分析的方法，通过理解和比较用于自然语言处理的循环神经网络模型，包括基于各个隐藏状态单元对输入文本的响应和相似性进行 聚类和可视化，以及通过基于聚合信息的图标序列可视化分析 RNN 的隐藏状态的行为，实验结果表明该方法在领域专家的案例研究和评论中具有可用性和有效性。

    Oct, 2017