AAAIDec, 2020

MASKER：面向可靠文本分类的关键词遮盖正则化

PDF
TL;DR本文提出一种名为 MASKER 的 fine-tuning 方法，该方法通过关键词正则化来实现基于上下文的预测，提高了预训练语言模型在 OOD 检测和跨域泛化方面的性能。
发现论文，激发创造
  • 掩蔽图像是稳健微调的反事实样本

    本文提出了一种新的 fine-tuning 方法，使用掩码图像作为反事实样本来帮助提高 fine-tuning 模型的鲁棒性，该方法通过分类激活图掩盖语义相关或语义不相关的图像补丁，然后用其他图像中的补丁填充掩盖的补丁，取得了在鲁棒性方面更好的平衡。

    Mar, 2023

  • 基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应

    在本文中，我们介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域，该方法基于词语的重要性对其进行排名，并优先选择重要性高的词进行掩码处理，通过在法律领域进行连续预训练实验证明了我们的方法在 LegalGLUE 基准测试中的有效性，同时提供免费使用的预训练语言模型和代码。

    Feb, 2024

  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 通过掩盖非共享部分进行多领域情感分类的共享学习

    本文利用 BertMasker 网络，首先将原始句子转换为与领域无关的语句，明确地对文本中的领域相关单词进行掩蔽，从中学习领域无关情感特征，并使用这些掩蔽单词形成领域感知句子表示，提高了多领域情感分类和跨领域设置的准确性。

    Apr, 2021

  • 提高预训练语言模型的泛化能力

    预训练语言模型 (PLMs) 的可重用性常受到其泛化问题的限制，该问题表现为在评估与训练数据集不同的示例时，性能显著下降，被称为离群 / 未知示例。本文提出了一种名为 Mask-tuning 的训练方法，通过将掩码语言建模 (MLM) 训练目标整合到微调过程中，提高了 PLMs 的泛化能力。全面的实验证明，Mask-tuning 超越了当前最先进的技术，并增强了 PLMs 在离群数据集上的泛化能力，同时提高了它们在分布数据集上的性能。研究结果表明，Mask-tuning 改善了 PLMs 在未知数据上的可重用性，使其在实际应用中更加实用和有效。

    Jul, 2023

  • 不要随意掩盖：通过掩盖域内关键词进行有效的领域自适应预训练

    文章提出了一种新颖的面向任务无关的领域内预训练方法，通过选择性屏蔽领域内关键词来提高预训练的效果，并使用 KeyBERT 鉴别了这些关键词。研究结果显示基于该方法调整的模型性能优于其他模型，并且识别领域关键词的时间开销合理可接受。

    Jul, 2023

  • 使用预训练转换器的伪异常值暴露进行对外分布检测

    我们提出了一种名为 Pseudo Outlier Exposure（POE）的简单但有效的方法，通过顺序遮盖与 ID 类相关的令牌来构建一个替代性的 OOD 数据集，该替代性 OOD 样本与 ID 数据具有相似的表示，可以在训练拒绝网络方面发挥最有效的作用，与最先进的算法进行全面比较，在几个文本分类基准测试中证明了 POE 的竞争力。

    Jul, 2023

  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022

  • 通过掩码特定损失提高预训练语言模型的敏感性：以生物医学 NER 为案例研究

    通过适当加权领域特定术语并加入遮蔽策略，提高语言模型的灵敏度和检测领域特定术语的能力。

    Mar, 2024

  • MOODv2：面罩图像建模用于超出分布检测

    主要研究了有效的离域检测的关键是获取一个稳健的域内表示，与离域样本有所区别；通过对不同的预训练任务和离域得分函数进行全面分析，发现通过重构预训练的特征表示显著增强了性能，并缩小了各个得分函数之间的性能差距。

    Jan, 2024