Jul, 2023

预训练语言模型在非分布数据上的扩散效应是如何影响的？

PDF
TL;DR使用 Transformer 预训练语言模型（PLMs）中的扩散模型降低了离群值鲁棒性，并提供了对离群样本的强力检测能力。
transformer-based pretrained language modelsdiffusion modelsood robustnessreconstruction abilitydetecting ood samples
发现论文，激发创造
  • 使用参数高效迁移学习探索语言模型的越界鲁棒性

    本研究系统地探讨了在预训练语言模型（Pre-trained Language Models）规模扩大或转移方法改变时，检测样本分布变化的能力如何随之改变，着重评估了各种 PETL 技术在三个不同意图分类任务上的效果。

    Jan, 2023

  • 自然语言理解中模型蒸馏和剪枝的稳健性挑战

    本研究分析了两种流行的模型压缩技术对于预训练语言模型鲁棒性和泛化能力的影响，并且在样本不确定性的基础上提出了一种偏见缓解框架，用于提高模型的泛化能力。

    Oct, 2021

  • 扩散语言模型：随着规模和指导微调可执行多种任务

    扩展极限语言模型、数据和任务规模可有效地使扩散式语言模型成为强大的语言学习者，并且通过指令调优可以实现零射击和小批量上下文学习能力。

    Aug, 2023

  • 大型语言模型的超出分布检测能力如何？

    通过对大型语言模型进行实证研究，本文发现余弦距离的异常检测器表现出卓越的效力，优于其他异常检测器，并通过强调大型语言模型嵌入空间的各向同性特征，提供了对这一现象的有趣解释，进一步增强了我们对大型语言模型在检测异常数据方面的适应性和可靠性。

    Aug, 2023

  • GLUE-X: 从越界泛化角度评估自然语言理解模型

    本文介绍了创建一个名为 GLUE-X 的统一基准的首次尝试，该基准用于评估自然语言处理模型中的 OOD 鲁棒性，在 13 个公开可用的 OOD 测试数据集上验收模型，发现模型在 OOD 任务上的性能明显下降，对提高模型鲁棒性提供了一些见解和改进方案。

    Nov, 2022

  • NLP 中的扩散模型：一项调查

    本文对自然语言处理中的扩散模型进行了全面的综述，讨论了不同的模型形式、优势和局限性，以及自然语言生成、情感分析、主题建模和机器翻译等应用。与自回归模型相比，扩散模型具有在生成、插值、令牌级控制和鲁棒性方面的显着优势。未来的研究方向包括把 Transformers 和扩散模型更深层次的结合，发展具有优秀的 few-shot learning 能力的多模态扩散模型和大规模扩散语言模型。

    May, 2023

  • DiffusionBERT：利用扩散模型提升生成式掩码语言模型的性能

    本文介绍了 DiffusionBERT，一种基于离散扩散模型的新型生成遮蔽语言模型，探讨了通过结合扩散模型和预训练去噪语言模型的能力，进一步提高文本生成质量。实验证明，DiffusionBERT 在文本生成方面的表现明显优于现有的扩散模型和先前的生成遮蔽语言模型。

    Nov, 2022

  • 提高预训练语言模型的泛化能力

    预训练语言模型 (PLMs) 的可重用性常受到其泛化问题的限制，该问题表现为在评估与训练数据集不同的示例时，性能显著下降，被称为离群 / 未知示例。本文提出了一种名为 Mask-tuning 的训练方法，通过将掩码语言建模 (MLM) 训练目标整合到微调过程中，提高了 PLMs 的泛化能力。全面的实验证明，Mask-tuning 超越了当前最先进的技术，并增强了 PLMs 在离群数据集上的泛化能力，同时提高了它们在分布数据集上的性能。研究结果表明，Mask-tuning 改善了 PLMs 在未知数据上的可重用性，使其在实际应用中更加实用和有效。

    Jul, 2023

  • 使用软屏蔽噪声的更便宜、更好的扩散语言模型

    介绍了一种新的语言建模扩散模型 Masked-Diffuse LM，通过语言学特征和软掩蔽添加文本失真，通过交叉熵损失函数在每个扩散步骤中直接预测分类分布，以更高效和直接的方式连接连续空间和离散空间，优于目前最先进的扩散模型。

    Apr, 2023

  • 基于似然的扩散语言模型

    该研究基于算法改进和计算资源扩展来提升扩散式语言模型，成功构建了一款表现优于已有模型的大规模扩散语言模型 Plaid 1B。

    May, 2023