Dec, 2022

非参数遮蔽语言建模

PDF
TL;DR本论文介绍了一种基于非参数分布的掩码语言模型，其以参考语料库中的所有短语作为分布依据，通过对比学习和批次近似方法进行高效训练，实现了对罕见词或短语的有效预测和处理，与其他参数化模型比较表明，该模型在 9 项封闭任务和 7 项开放任务中的表现表明了优越性。
nonparametric masked language modelphrases predictioncontrastive objectivezero-shot evaluationrare patterns
发现论文，激发创造
  • 预训练语言模型可完全零样本学习

    本文提出了一种基于预训练语言模型的无参考学习方法 NPPrompt，能够有效扩展一个预训练模型到多个语言理解任务，且不需要标注数据或附加未标注语料库进行微调。实验结果表明，NPPrompt 在文本分类和 GLUE 基准测试等任务中具有比以前最好的全零样本方法更高的绝对增益。

    Dec, 2022

  • 一个用于训练神经概率语言模型的快速简单算法

    本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。

    Jun, 2012

  • 高效的最近邻语言模型

    本文探讨了如何提高非参数神经语言模型的效率，实验表明我们的方法能够在保持性能相当的情况下提高 6 倍的推理速度，为以后开发或部署更有效的非参数神经语言模型提供指南。

    Sep, 2021

  • NPMs: 三维可变形形状的神经参数模型

    本论文提出了一种学习式的 Neural Parametric Models (NPMs) 用于精确地重建和跟踪人体、手部和服装等物体的运动序列，并展示了该方法相对于传统参数化或非参数化方法的优越性。

    Apr, 2021

  • 重新审视简单的神经概率语言模型

    本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

    Apr, 2021

  • kNN-Prompt: 最近邻零样本推理

    研究了 k-nearest neighbor LM 以及 kNN-Prompt 模型在少数样本和零样本任务准确度上的性能，发现其对于扩展任务特定的模糊单词十分有效，且具有在领域适应中快速提高准确度的优势。

    May, 2022

  • 基于 PMI 的相关跨度掩码

    通过对点对互信息的概念提出了 PMI-Masking，该结构代替了以往不合理的随机掩码方法，实验结果表明在预训练的效率和下游任务性能上有所提高

    Oct, 2020

  • 使用遗忘因果语言模型改进少样本学习和微调的性能

    本文提出的遗忘因果掩码（Forgetful Causal Masking，FCM）和 T-FCM 技术可以显著提高语言模型（如 PaLM）的性能，是一种简单的技术，通过遮盖随机选择的过去标记来执行下一个标记预测任务，从而提高下游语言理解任务的学习表示质量。

    Oct, 2022

  • 一种具有概率掩码的语言模型，能够按任意字序进行自回归生成

    本文提出了一种基于掩模模型的概率掩模方案（PMLM），它支持按任意顺序生成文本，并在下游自然语言理解任务上超越了 BERT。

    Apr, 2020

  • 伪对数似然在自然语言评分中的应用

    本文探讨了使用零射击方式相对于微调方法的优势，并通过实验结果表明其在通用常识推理等二选一任务上表现出色。并且，作者认为此种方法的健壮性应从表征组合性的角度进行解释。

    Jan, 2022