Dec, 2013

使用幂律秩合奏实现语言建模

PDF
TL;DR该论文提出了一种灵活的 n-gram 语言建模框架 ——Power Low Rank Ensembles，使用低秩矩阵和张量的集合来获得单词上下文中平滑的概率估计，该方法可以理解为 n-gram 建模到非整数 n 的推广，可用于诸如绝对折扣和 Kneser-Ney 平滑等标准技术。PLRE 训练有效，并且在大型语料库上的困惑度和下游机器翻译任务中的 BLEU 分数方面优于最先进的修改的 Kneser Ney 基线方法。
power low rank ensemblesn-gram language modelingprobability estimatesabsolute discountingkneser-ney smoothing
发现论文，激发创造
  • 重新审视简单的神经概率语言模型

    本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

    Apr, 2021

  • 低资源命名实体识别的预训练编码器比较研究

    该研究比较了不同策略下的预训练编码器在低数据量情境下的命名实体识别表现，结果表明编码器表现存在显著差异，并需要结合具体场景进行评估选择。

    Apr, 2022

  • 语音识别中语言建模的低秩适应的训练策略和模型鲁棒性研究探究

    使用低秩适应（LoRA）和预训练语言模型（PLMs）的方法已成为一种流行的资源高效性建模方法，本研究首先探讨了通过引入各种 LoRA 培训策略来提高模型性能，相对词错误率减少了 3.50％和 3.67％，并且进一步检验了 LoRA 基于二次通过语音识别模型的稳定性和对输入扰动的鲁棒性。

    Jan, 2024

  • 一个用于训练神经概率语言模型的快速简单算法

    本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。

    Jun, 2012

  • 预训练语言模型在中文语法错误修正的模型集成中的应用

    探索基于预训练语言模型（PLMs）计算的困惑度（PPL）的模型集成策略，以增强语法错误校正（GEC）系统，但得出一个出乎意料的结果，即基于 PLMs 的集成无法提高性能，详情需要进行评估可扩展性和改进测试数据。

    May, 2023

  • GroupReduce: 块状低秩逼近神经语言模型压缩

    本文提出了一种新的神经语言模型压缩方法，基于基于词汇划分的低秩矩阵逼近和词汇分布的幂律分布，相比传统压缩方法更优，在 OBW 数据集上实现了 6.6 倍的压缩率，采用量化可以实现 26 倍的压缩率，而且模型困惑度几乎没有降低。

    Jun, 2018

  • 关于预训练语言模型 N-gram 逼近的研究

    本研究调查了预先训练的语言模型在自动语音识别中的潜在用途，对比了大规模文本抽样和概率转换的应用。在八个特定领域的语料库中，发现采样的近似方法支持使用，插值与大规模文本语料库一起使用对比基线三元组能使测试困惑度提高 15％，我们引入了一种有限制的词汇解码方法，这将进一步提高 5％的改进。

    Jun, 2023

  • 掩蔽语言模型评分

    通过掩码语言模型的伪对数似然得分，我们证明该方法在各种任务中优于自回归语言模型。RoBERTa 减小端到端 LibriSpeech 模型的 WER，同时增加低资源翻译的 BLEU 得分，这个成功要归功于伪对数似然得分的无监督表达，而不具有从左到右的偏见。

    Oct, 2019

  • 大规模语言模型重整的低秩适应对于参数高效语音识别

    提出了一种基于低秩适应（LoRA）的神经语言建模系统，用于语音识别输出的再评分。通过低秩分解的方法，使用仅占预训练参数 0.08% 的插入矩阵进行训练和领域适应，实现了 Rescore-BERT（LoRB）架构，并在 LibriSpeech 和内部数据集上减少了 5.4 至 3.6 倍的训练时间。

    Sep, 2023

  • 大型语言模型具有配对排名提示的有效文本排名器

    本文提出了一种新的技术叫做 Pairwise Ranking Prompting (PR)，通过使用适当的排名提示，减少了 LLMs 的负担，使用 moderate-sized open-sourced LLMs 在标准的基准测试中实现了最先进的排名表现。

    Jun, 2023