COLINGMar, 2022

使用预训练置换检测模型作为少样本学习器

PDF
TL;DR本文提出了一种使用预训练的 token-replaced 检测模型作为 few-shot 学习的替代方法，通过将分类或回归任务转化为 token-replaced 检测问题并利用自然语言提示来预测输入中最原始的标签描述词，对 16 个数据集进行了系统评估，结果表明该方法在一句话和两句话的学习任务中都优于使用预训练的 masked language model 的 few-shot 学习器。
发现论文，激发创造
  • ELECTRA 激励：用判别式预训练模型进行少样本学习

    本文提出了将 prompt-based few-shot learning 方法应用到 ELECTRA 上，表明该方法在各种任务中均胜过 masked language models，并显示 ELECTRA 学习到的分布与下游任务更加一致。

    May, 2022

  • ELECTRA 也是零样本学习器

    本文提出了一种用于零样本学习的新型置换标记检测 (RTD) 提示学习模型，基于 ELECTRA 模型的 RTD-prompt 学习在 NLP 任务的零样本情况下表现出卓越的性能，尤其在 SST-2 任务上取得了令人惊叹的 90.1% 的准确率。相比预训练的遮蔽语言模型，预训练的置换标记检测模型在零样本学习中表现更佳。

    Jul, 2022

  • ELECTRA：将文本编码器视为判别器而非生成器的预训练

    提出了一种更节省样本的预训练任务，叫做替换标记检测。该方法是通过一个小的生成网络从语料库中替换一些标记，然后通过训练一个判别模型，以预测输入标记是否被替换，而不是预测被替换的标记的原始身份来破坏输入，从而定义所有输入标记的任务，比普通的 Masked language modeling 更有效，并表现出比 BERT 更好的上下文表示学习效果。

    Mar, 2020

  • ELECTRA 预训练中替换采样的学习

    本文提出使用困难度预测机制增强替换采样以改进 ELECTRA 预训练，并使用聚焦损失函数缓解正确标记替换过度采样的问题。实验结果表明，该方法在各种下游任务中都提高了 ELECTRA 预训练的性能。

    Jun, 2021

  • TOKEN 是 MASK：预训练语言模型下的少样本命名实体识别

    本文提出了一种利用预训练语言模型进行跨领域适应的轻量级的 few-shot 近似算法，将知识从一个领域转移到另一个领域以优化实体识别性能。实验结果表明，与最先进的基线相比，本方法可以提高 2-5% 的 F1-score。

    Jun, 2022

  • 挖掘式零样本学习：基于语言模型的搜索方法

    本文提出了一种使用正则表达式从未标记语料库中挖掘标记示例的替代模板提示方法，通过微调预训练模型，相比模板提示方法更加灵活和可解释，在使用相似模板时在多个任务中表现出更好的性能。

    Oct, 2022

  • AraELECTRA：面向阿拉伯语文本理解的预训练判别器

    本文介绍了一种名为 AraELECTRA 的阿拉伯语语言表示模型，使用替换标记检测目标在大型阿拉伯文本语料库上进行预训练，评估模型在多种阿拉伯自然语言处理任务中的表现，结果显示 AraELECTRA 在给定相同预训练数据且模型更小的情况下，优于当前现有的阿拉伯语言表示模型。

    Dec, 2020

  • 多词选择增强的训练 ELECTRA

    本研究中提出了一种基于多任务学习的文本编码器预训练方法来改进 ELECTRA 模型，通过同时检测替换的标记和从候选集中选择原始的标记来训练判别器，并使用注意力机制网络和共享底部层的技术同时处理各种预训练任务，取得了在 GLUE 和 SQuAD 数据集上的有效和高效的表现。

    May, 2021

  • XLM-E: 通过 ELECTRA 进行跨语言语言模型预训练

    通过 ELECTRA 风格任务，我们引入了跨语言语言模型预训练。我们在多语言和平行语料库上对模型进行预训练，同时提出了两个预训练任务，即多语言替换标记检测和翻译替换标记检测。我们的模型在各种跨语言理解任务中表现优异，成本更低。此外，分析显示 XLM-E 在跨语言可转移性方面表现更好。

    Jun, 2021

  • 三种语言下的少样本临床实体识别：掩码语言模型优于 LLM 提示

    对于临床实体识别任务，大型语言模型的少样本能力在低资源环境下取得高性能，但在临床领域，轻量级的监督标注模型结合掩蔽语言模型的表现更好，并且二者的 CO2 排放量相对较低。

    Feb, 2024