句状态 LSTM 用于文本表征
使用 BERT 嵌入 BiLSTM,发现将整个句子表示策略性地集成到每个单元格的句子表示中,可显著提高序列标注任务的 F1 得分和准确性。在包含 9 个数据集的序列标注任务中,涵盖了命名实体识别(NER)、词性标注和端到端基于方面的情感分析(E2E-ABSA),所有数据集的 F1 得分和准确率都有显著提高。
May, 2023
本文提出了一种新的多层 RNN 模型 —— 密集连接的双向长短期记忆网络 (DC-Bi-LSTM),并在五个句子分类基准数据集上进行了评估。结果显示,相比同等或更少的参数的传统双向 LSTM,深度为 20 的 DC-Bi-LSTM 模型可以成功训练,并获得了显著的改进。此外,与最先进方法相比,我们的模型表现具有很好的潜力。
Feb, 2018
在中文分词任务中,与更复杂的神经网络模型相比,双向 LSTM 模型结合标准深度学习技术和最佳实践能够在许多流行数据集上实现更好的精度。此外,错误分析表明,对于神经网络模型而言,词汇外的单词仍然具有挑战性,其余错误不太可能通过架构更改来修复,而是应该更加努力地探索资源以进一步提高精度。
Aug, 2018
本文提出了一种利用双向 LSTM 神经网络进行自修复检测的方法,并使用模式匹配特征来降低对于词汇量的敏感度,提高了模型的性能。实验结果表明,在 Switchboard 语料库中,模型在标准的自修复检测任务和纠正检测任务中均表现出了出色的性能,特别是将非重复性的自修复鉴别效果提升明显。
Apr, 2016
本论文介绍了一种名为平行 LSTM 的 RNN 模型,可以并行处理多个同步输入序列以预测共同输出。在自动电视节目分类任务上的实验表明,该方法优于基线 n-gram 模型和最先进的 LSTM 方法。
Feb, 2017
本研究采用词、字符和 Unicode 字节嵌入比较 bi-LSTM 和传统的 POS 标注器,在 22 种语言中取得了最优性能,并表明 bi-LSTM 对于训练数据大小和标签污染的敏感度被过高估计。
Apr, 2016
本文介绍了一种双向长短时记忆神经网络 (bidirectional LSTMs) 的变型架构 —— 变分双向 LSTM (Variational Bi-LSTM),该架构可以在训练期间(但在推理时可能被省略)在两条路径之间创建通道,从而共同优化其模型,实现不同信息的交互利用,进而在各项测试中表现出优秀的预测性能。
Nov, 2017
本文提出 C-LSTM 模型,结合了 CNN 和 RNN 的优点,用于句子表示和文本分类,实验结果表明 C-LSTM 比 CNN 和 LSTM 表现更好,可在这些任务中取得出色的性能。
Nov, 2015