对预训练语言模型进行微调以进行少样本意图检测：监督式预训练和各项同性化

ACLMay, 2022

对预训练语言模型进行微调以进行少样本意图检测：监督式预训练和各项同性化

Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization

Haode Zhang, Haowen Liang, Yuwei Zhang, Liming Zhan, Xiao-Ming Wu...

TL;DR本文研究了如何在任务导向的对话系统中仅通过少量标注进行有效的意图分类器训练，提出了使用各向同性正则化改进有监督预训练的方法，并通过大量实验验证了其有效性。

Abstract

It is challenging to train a good intent classifier for a task-oriented dialogue system with only a few annotations. Recent studies have shown that fine-tuning pre-trained language models with a small amount of l

intent classifier language models supervised pre-training isotropization few-shot intent detection

发现论文，激发创造

基于对比度预训练和微调的小样本意图检测

本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

Sep, 2021

Few-shot 意图分类的预训练有效性

本文研究了少样本意图分类预训练的有效性，发现仅使用公共数据集上的少量标记数据对 BERT 进行微调即可高效地生成一个预训练模型 IntentBERT，其性能超过现有预训练模型，具有高泛化能力。

Sep, 2021

Few-shot 基于提示微调中避免推断启发式方法

本文研究表明，在句子对分类任务中，虽然预训练语言模型提供了低数据环境下的优势，但基于提示的微调模型仍然存在使用基于词汇重叠的推理启发式的共同缺陷，加入保留预训练权重的正则化可以缓解这种破坏性的微调倾向，并在三个挑战数据集上显示了可预期的改进。

Sep, 2021

使用 PLMs 重新审视少样本意图分类：直接微调 vs. 连续预训练

本文针对少样本意图检测任务进行研究，提出一种新的方法，即直接在少量标记数据上对预训练语言模型（PLMs）进行微调，使用上下文增强方法和序列自蒸馏技术进一步优化性能。实验表明，该方法优于许多强基线方法，甚至是在只有每类两个或更多标记样本的情况下。

Jun, 2023

使用各向同性批量归一化 Fine-Tuning BERT

本文研究了预训练语言模型中的同向性问题，提出了一种新的网络正则化方法：同向批量归一化（IsoBN），用于解决优化学习中掌握主要因素的问题，从而获得更多同向表现，提高了七项自然语言理解任务约 1.0 的绝对增量。

May, 2020

微调对嵌入空间几何结构的影响：以等向性为例的案例研究

分析 fine-tuning 预训练语言模型后嵌入空间异构性的变化，证明 fine-tuning 并不能使嵌入空间的等向性增强，还发现 fine-tuning 会导致预训练的 CWRs 中的局部结构发生巨大变化，使得原有的等向性增强方法失效。

Sep, 2021

使用弱监督微调预训练语言模型：一种对比正则自训练方法

该研究通过开发一种对比自训练框架 (COSINE) 来解决使用弱监督 fine-tune 预训练语言模型 (LMs) 时的过拟合问题，实验证明该方法在自然语言处理的多个任务中表现优异。

Oct, 2020

SMART: 面向预训练自然语言模型的强健高效微调技术

本文提出一种基于 Bregman 的 Trust-Region 优化的平滑正则化框架，用于更加有效地对预训练语言模型进行微调，避免过拟合和知识遗忘，通过实验表明在多项 NLP benchmarks 上达到了最新的性能水平。

Nov, 2019

信息引导的正则化用于微调语言模型

传统的预训练 - 微调策略已被视为现代语言建模中的转移学习策略，但需要更具目标敏感性的参数正则化方法以实现更平滑的转移学习。本文通过信息论的角度研究了预训练损失函数在任务敏感参数上的影响，并利用研究结果提出了一种新颖的用于改善模型正则化和下游泛化性能的 dropout 方法，名为 guided dropout。通过实证评估表明，相比于标准基线，在数据稀缺的情况下，我们的正则化方法始终能够得到更好的性能。

Jun, 2024

自训练提高了面向任务的对话系统中 Few-shot 学习的预训练

研究通过自我训练的方法，利用大量未标记的对话数据进一步改进预先训练的模型，以应对高昂的对话系统不同模块的标注成本问题，并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。

Aug, 2021