Jan, 2022

混合分层结构的循环神经网络和 EM 算法在自然语言处理中的应用

PDF
TL;DR该研究提出了一种名为 EM-HRNN 的新型架构，通过隐式层次信息（例如短语）的学习，进一步发展了 EM 算法来处理隐藏层，使文本的分层结构更加简单，并且证明在文档分类任务中，EM-HRNN 模型能够优于其他基于 RNN 的模型和相似于 Bert-base 的 Transformer 方法的性能，尽管前者是更小的模型且不需要预训练。
发现论文，激发创造
  • 分层多尺度循环神经网络

    本文提出了一种多尺度递归神经网络，称为分层多尺度递归神经网络，通过使用新的更新机制，在不使用显式边界信息的情况下捕获序列中的潜在分层结构，从而解决递归神经网络中的层次和时间表示问题，并在字符级别语言建模和手写序列建模上进行评估。

    Sep, 2016

  • 利用隐马尔科夫模型提高循环神经网络的可解释性

    通过将循环神经网络与隐马尔科夫模型相结合，旨在增加其可解释性，发现 LSTM 和 HMM 可以学习互补的文本特征信息。

    Jun, 2016

  • 使用具有潜在主题聚类的分层递归编码器进行排序问题 - 答案对的学习

    该研究提出了一种新型的神经网络架构，采用分层循环神经网络和潜在主题聚类模块进行候选答案排名，该模型的层级结构可以有效地捕捉整体含义并在长文本理解方面表现出色，并在两个数据集中取得了最佳的问题答案排序结果。

    Oct, 2017

  • 段落和文档的分层神经自编码器

    该论文探索了自然语言生成的一项重要任务，并通过训练 LSTM 自动编码器来实现对多句段落的保留和重构，评估结果表明神经模型能够以一种保存句法、语义和语篇连贯性的方式对文本进行编码。

    Jun, 2015

  • 建模分层结构的重要性与循环神经网络

    比较循环神经网络和非循环神经网络对于建模层级结构的能力，发现循环神经网络在这方面的重要性。

    Mar, 2018

  • 语言模型预训练用于层次文档表示

    从无标注数据中预训练了一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子 / 段落表示，并应用于文档分割、文档级问答和抽取式文档摘要等方面取得了有效结果。

    Jan, 2019

  • 使用连续递归神经网络建模分层结构

    本文提出 Continuous Recursive Neural Network (CRvNN) 作为递归神经网络（RvNN）的可替换方案，以解决传统 RvNN 在处理序列中诱导潜在结构方面的局限性，并通过在潜在结构中引入连续松弛来改进该方案，从而在逻辑推理和自然语言处理等多项任务中取得了显著表现。

    Jun, 2021

  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • 关于 RNN 语言模型归纳偏差的理论结果

    循环神经网络（RNNs）作为语言模型（LMs）的经验成功可能与其能够有效地表示人类语言中的有界分层结构有关，并且可以推广其构造以表示更大类别的 LMs，即可以用带有边界堆栈和广义堆栈更新函数的推挤自动机来表示。然而，RNNs 在表示多样化的非分层 LM 类别时的效率表明其缺乏具体的认知和以人类语言为中心的归纳偏见。

    Feb, 2024

  • 使用隐马尔可夫模型提高循环神经网络的可解释性

    本文介绍了一种利用长短时记忆模型和隐马尔科夫模型相结合的方法来提高循环神经网络的可解释性的途径，并在文本数据和医疗时间序列数据上测试了该算法，发现 LSTM 和 HMM 学习文本特征的信息互为补充。

    Nov, 2016