利用序列模型预测字符的大小写的高效架构

Jan, 2020

利用序列模型预测字符的大小写的高效架构

An Efficient Architecture for Predicting the Case of Characters using Sequence Models

Gopi Ramena, Divija Nagaraju, Sukumar Moharana, Debi Prasanna Mohanty, Naresh Purre

TL;DR本文提出一种使用卷积神经网络 (CNN)、双向长短期记忆网络 (LSTM) 和条件随机场 (CRF) 相结合的架构，在字符级别上对大小写进行恢复，从而提高自然语言处理中后续处理任务的准确性。与传统基于统计和深度学习的方法相比，我们提出的方法在 F1 得分上展现出 0.83 的提升，由于 Truecasing 在多种处理任务中通常用作预处理步骤，因此 F1 得分的每个增加都将带来非常显著的语言处理任务改进。

Abstract

The dearth of clean textual data often acts as a bottleneck in several natural language processing applications. The data available often lacks proper case (uppercase or lowercase) information. This often comes up when text is obtained from social media, messaging applications and othe

natural language processing case restoration truecasing convolutional neural networks bi-directional long short-term memory networks

发现论文，激发创造

使用 Truecasing 预训练的鲁棒命名实体识别

本文通过预测文本大小写的方式，提出了一种新方法改进了命名实体识别在嘈杂无序情况下的稳健性表现，该方法利用未标注数据的真实大小写器与标准的 BiLSTM-CRF 模型结合。实验表明我们的方法在无序文本中提高了性能，并在 WNUT17 共享任务数据集上实现了新的最佳效果。

Dec, 2019

使用准确高效的分层 RNN 模型进行语言建模的大写标准化

本研究提出了一种基于递归神经网络的两级分层的单词和字符的快速，准确和紧凑的文本真实大小写还原模型，该模型被用于在联合学习框架下的语言建模。经过归一化处理的语料库的语言模型表现与完美大小写匹配处理的语料库的模型表现相当，这对于虚拟键盘应用程序中的减少预测误差率至关重要。在用户 A/B 实验中，我们还展示了该模型能够减少语音识别中的大写字符错误率和单词错误率。

Feb, 2022

双向 LSTM-CNNs-CRF 的端到端序列标注

本文提出了一种新颖的神经网络体系结构，该体系结构利用了双向 LSTM，CNN 和 CRF 的组合，自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的，不需要特征工程或数据预处理，因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估，即 Penn Treebank WSJ 语料库用于词性标注和 CoNLL 2003 语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为 97.55％，命名实体识别的 F1 值为 91.21％。

Mar, 2016

无约束文本识别的深度结构化输出学习

本研究提出一种基于卷积神经网络和条件随机场的模型，通过预测字符和 N-grams 以识别自然图像中词语，同时实现多任务学习，无需有固定的单词列表，实验证明其在标准实际文本识别基准中的准确性优于仅预测字符，也达到了有限词汇识别的最高精度。

Dec, 2014

基于字符识别的神经语言模型

本研究描述了一种仅依赖字符级输入的简单神经语言模型，该模型利用卷积神经网络和字符级公路网络作为输入，并将结果给予一种长短时记忆递归神经网络语言模型作为输出，该模型可以用较少的参数占据现有最先进的地位。此外，该模型表现出色的证明了许多语言所需的字符输入已经足够进行语言建模，且可以从字符组成的部分编码的单词表示中得到语义和字形信息。

Aug, 2015

为句子校正调整序列模型

对序列到序列方法进行的纠错实验中发现，基于字符的模型通常比基于单词的模型和通过卷积编码子单词信息的模型更有效，并且将输出数据建模为一系列差异可提高效果，而我们最强的序列到序列模型比最强的基于短语的统计机器翻译模型在数据相同的情况下得分提高了 6 M2 点（0.5 GLEU）。此外，在标准 CoNLL-2014 设置的数据环境中，我们证明了建模（并调整）差异可以使用更简单的模型和 / 或比以前的序列到序列方法少得多的数据获得类似或更好的 M2 得分。

Jul, 2017

一种用于文本分类的 C-LSTM 神经网络

本文提出 C-LSTM 模型，结合了 CNN 和 RNN 的优点，用于句子表示和文本分类，实验结果表明 C-LSTM 比 CNN 和 LSTM 表现更好，可在这些任务中取得出色的性能。

Nov, 2015

不对任何单词进行大写标记的 NER 和 POS

本研究通过修改大小写来解决 NLP 任务中大写信号的问题，将大小写训练数据串联起来可以使模型在大小写文本中都拥有良好的性能，同时对嘈杂的 Twitter 数据进行测试，结果表明我们的解决方案提高了 8％的 F1 检测率。

Mar, 2019

将序列对序列模型用于社交媒体文本规范化

介绍了一个基于混合词 - 字符注意力编码 - 解码模型的社交媒体文本标准化系统，以预处理噪音文本并适应社交媒体上的 NLP 应用。

Apr, 2019

面向会话语音的标点符号预测模型

本文通过训练基于深度神经网络技术的双向长短期记忆网络（BLSTM）和卷积神经网络（CNN）的序列标注模型，来解决语音识别系统中无法正常预测标点符号的问题，并且通过在 Fisher 语料库上的实验证明，基于卷积神经网络预测标点符号的方法更加精确。同时，本文结果表明，将 Fisher 语料库转化为时间对齐的文本以及采用预训练嵌入模型可以提高标点预测的准确性。

Jul, 2018