Feb, 2023

基于掩码的 BERT 模型的少样本文本分类

PDF
TL;DR文章提出了一种名为 Mask-BERT 的模型，通过选择性地在文本输入上应用掩码来过滤掉不相关的信息，从而引导模型专注于有影响的标记，以帮助 BERT-based 架构解决低资源场景下（即 few-shot learning）训练稳健模型的困境，并引入对比学习损失函数，以使不同类别的文本表示更易区分，同一类别的文本表示更加紧凑。公共基准数据集上的实验结果证明了 Mask-BERT 模型的有效性。
transformerfew-shot learningmask-bertcontrastive learningbert-based
发现论文，激发创造
  • 将视觉原型与 BERT 嵌入对齐，用于少样本学习

    提出了一种考虑图像类别名称的少样本学习方法，利用 BERT 模型学习类别名称嵌入来分离视觉和文本特征，同时采用跨语言词向量对高维度 Bert 嵌入进行处理，实验结果表明该方法在少样本图像分类任务上取得了领先水平。

    May, 2021

  • 三种语言下的少样本临床实体识别：掩码语言模型优于 LLM 提示

    对于临床实体识别任务，大型语言模型的少样本能力在低资源环境下取得高性能，但在临床领域，轻量级的监督标注模型结合掩蔽语言模型的表现更好，并且二者的 CO2 排放量相对较低。

    Feb, 2024

  • 基于 Transformer 的端到端语音识别语义掩码

    提出了一种基于语义掩蔽的正则化方法，使用注意力机制的编解码器模型，以及 transformer-based 模型，以提升 E2E 模型的训练效果。通过实验验证，在 Librispeech 960h 和 TedLium2 数据集上取得了 E2E 模型领域的最新性能。

    Dec, 2019

  • 有监督的遮蔽知识蒸馏用于小样本变压器

    本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD)，将标签信息融入到自我蒸馏框架中，通过在类和图块标记上进行内部类知识蒸馏，并引入在类内图像中对屏蔽图块标记重构的挑战性任务，我们比以前的自我监督方法实现了更好的结果，实验结果显示，我们的方法在四个 few-shot 分类基准数据集上的性能优于以往方法。

    Mar, 2023

  • BERT 模型知识压缩在文本生成中的应用

    该研究的主要目的是探讨如何利用大规模的预训练语言模型如 BERT 来进行语言生成任务，并提出了一种基于条件掩码语言建模（C-MLM）的方法，使用 BERT 对学生模型进行监督，从而实现更好的文本生成性能，实验证明该方法在多语言生成任务上明显优于强大的 Transformer 基线，包括机器翻译和文本摘要，并在 IWSLT 德英和英越 MT 数据集上取得了新的最优效果。

    Nov, 2019

  • 使用选择性屏蔽作为预训练和微调之间的桥梁

    该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

    Nov, 2022

  • 什么 [MASK]？理解特定语言的 BERT 模型

    本文研究了自然语言处理中的 BERT 模型及其多语言版本 (mBERT)，比较并探究了语言特定的 BERT 模型与 mBERT 在架构、数据领域和任务上的差异和共性，为读者提供了一个直观的综述和交互式展示网站。

    Mar, 2020

  • SimpleBERT：一种预训练模型，学习生成简单单词

    本研究提出了一种基于预训练模型的文本简化方法，通过新的掩码语言建模机制和小规模文本数据集的持续预训练，最终获得了一种名为 SimpleBERT 的模型，该模型在词汇简化和句子简化任务中均超过了 BERT，并在多个数据集上取得了最先进的结果。此外，SimpleBERT 可以无需修改地替换现有的简化模型。

    Apr, 2022

  • NarrowBERT: 增强遮蔽语言模型的预训练和推理速度

    本文介绍了一种修改的 transformer 编码器 --NarrowBERT，其通过使自注意力查询和前向层仅在预训练期间的屏蔽令牌上操作，从而增加了掩码语言模型预训练的吞吐量。 此外，本文还显示，与 MNLI 等句子编码任务相比，NarrowBERT 在推理时间的吞吐量提高了多达 3.5 倍，性能降低最小（或没有），并且在 IMDB，亚马逊评论分类和 CoNLL NER 任务上的 NarrowBERT 表现也与标准 BERT 相当。

    Jan, 2023

  • 使用预训练置换检测模型作为少样本学习器

    本文提出了一种使用预训练的 token-replaced 检测模型作为 few-shot 学习的替代方法，通过将分类或回归任务转化为 token-replaced 检测问题并利用自然语言提示来预测输入中最原始的标签描述词，对 16 个数据集进行了系统评估，结果表明该方法在一句话和两句话的学习任务中都优于使用预训练的 masked language model 的 few-shot 学习器。

    Mar, 2022