Apr, 2024

重温 N-Gram 模型：对手写文本识别现代神经网络的影响

PDF
TL;DR该研究探讨了在手写识别领域中，深度神经网络结构集成显式 n-gram 语言模型是否能提高性能，结果表明，结合字符或子词的 n-gram 模型能显著改善自动文本识别系统在多个数据集上的性能，挑战了仅仅使用深度学习模型就能够达到最优性能的观点，特别是 DAN 结合字符语言模型的组合超过了目前的基准，确认了混合方法在现代文档分析系统中的价值。
发现论文，激发创造
  • 注意力聚焦：非递归手写文本行识别

    使用变形金刚模型的多头自我注意力层，无需回归方法且具有超出预定义词汇表的单词识别能力，能实现很高的手写识别精度，即使在少量样本学习情况下也可取得满意的结果。

    May, 2020

  • N-Grammer: 使用潜在 n-gram 扩充 Transformer

    本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

    Jul, 2022

  • 利用字符 n-gram 嵌入来提高循环神经网络语言模型

    本文提出一种基于循环神经网络的语言模型，并利用字符信息中的 n-gram 构建单词嵌入，结合常规单词嵌入。该模型在语言模型数据集上取得最佳困惑度，同时在机器翻译和标题生成等应用任务中也表现出较好的性能。

    Jun, 2019

  • 基于字符识别的神经语言模型

    本研究描述了一种仅依赖字符级输入的简单神经语言模型，该模型利用卷积神经网络和字符级公路网络作为输入，并将结果给予一种长短时记忆递归神经网络语言模型作为输出，该模型可以用较少的参数占据现有最先进的地位。此外，该模型表现出色的证明了许多语言所需的字符输入已经足够进行语言建模，且可以从字符组成的部分编码的单词表示中得到语义和字形信息。

    Aug, 2015

  • 使用神经网络语言模型进行作者归属判定

    研究了神经网络语言模型在作者归属问题上的性能，发现与传统非参数化模型相比，其性能更优越。

    Feb, 2016

  • 多尺度下神经语言建模分析

    本论文通过对现有 LSTMs 和 QRNNs 语言模型的扩展，提高了对大型语料库的处理能力，并在字符级（Penn Treebank，enwik8）和单词级（WikiText-103）数据集上分别取得了最新的最高水平结果，而且只用了一台现代 GPU，最快只需 12 小时（WikiText-103）或 2 天（enwik8）即可。

    Mar, 2018

  • 只有 400 个样本！重新审视自动生成拼音规则对菲律宾语拼写规范化的有效性

    本研究提出了一种基于 N-Gram 与 Damerau Levenshtein 距离模型的自动规则抽取方法，这种模型利用少量的数据进行训练，实现了良好的性能，并且在没有足够数据时，传统的方法胜过复杂的深度学习模型。

    Oct, 2022

  • 使用循环神经网络估计 N 元语言模型

    通过使用 RNN 模型进行 $n$-gram 语言模型平滑来研究其有效的记忆深度，实验结果表明，在保持句子独立性假设的前提下，使用 dropout 技术的 LSTM cell 在编码 $n$-gram 状态方面的表现最佳，且在 $n=9$ 时，LSTM $n$-gram 与 LSTM LM 表现相当，同时在 $n=13$ 时略优于其，该方法可以提高模型的性能，特别适用于模拟短格式文本如语音搜索 / 查询语言模型。

    Mar, 2017

  • 如何选择预训练的手写识别模型用于单作者微调

    通过对大型基准数据集和通过手写文本生成模型产生的合成数据集的研究，本文提出在大数据集上预训练手写文本识别模型，并在少量带有个人特点手写的小规模数据集上进行微调，以有效转录手稿。

    May, 2023

  • $N$-gram 回归：用 $n$-gram 语言模型进行神经文本生成的残差学习

    本文提出采用 $n$-gram 语言模型与神经网络语言模型的结合来提升自然语言处理任务性能，并在三项典型任务的实验中表明，我们的方法始终优于单独使用神经网络语言模型。同时，我们还展示了该方法通过简单地切换到特定领域的 $n$-gram 模型即可进行有效的领域自适应。

    Oct, 2022