生成后精炼:零样本意图检测的数据增强
本研究提出了一种利用未知类标签学习类转导意图表示(CTIR)的框架,该框架采用多任务学习目标和相似度评分器来改善现有的零样本意图检测系统不能识别未知意图的问题,并在两个真实数据集上获得了相当的性能提升。
Dec, 2020
RIDE是一种利用常识知识无监督方式来检测用户意图的模型,通过计算鲁棒且具有泛化性的关系元特征来捕获话语和意图标签之间的深层语义关系,从而实现对已见和未见意图的高精度检测。
Feb, 2021
本文研究了少样本意图分类预训练的有效性,发现仅使用公共数据集上的少量标记数据对BERT进行微调即可高效地生成一个预训练模型IntentBERT,其性能超过现有预训练模型,具有高泛化能力。
Sep, 2021
本研究提出了一种基于提示的方法,使用诸如GPT-3等预训练语言模型来生成带标签的意图分类的训练数据,与需要对数据生成进行任务特定的LM微调的方法相比,该方法不需要超参数调整,即使在训练数据非常缺乏的情况下也适用,并且评估结果表明,当考虑到的意图彼此足够不同时,GPT生成的数据可以显著提高意图分类器的性能;而在半导体上的那些任务中,生成的数据的效果较差,原因是GPT经常生成错误的语句,而不是所需的语句。
Apr, 2022
探讨了用于意图识别的广义零射击模式,并使用句子对建模方法,通过任务转移进一步提高性能,使用语境编码器的预训练技术使模型适用于主要且适应不断变化的应用。
Jun, 2022
这项研究提出了一种基于语言模型和点间V-information的方法,通过in-context合成新的对话数据并过滤无用数据,能够在少量训练数据下,显著提升意图检测性能。
Feb, 2023
本文探讨了在低资源环境下使用领域适应、数据增强、零样本分类以及参数高效的微调等四种方法来解决对话NLU提供商在扩展到数千个意图分类模型时遇到的存储空间限制问题,结果表明这些方法对于不同程度的低资金环境下效果有效,在使用T-few配方提出的参数高效昆虫微调语言模型的Flan-T5上获得了最佳性能,即使只有一个样本每意图。我们还展示了使用意图描述促进LLM的零样本方法。
May, 2023
本文针对少样本意图检测任务进行研究,提出一种新的方法,即直接在少量标记数据上对预训练语言模型(PLMs)进行微调,使用上下文增强方法和序列自蒸馏技术进一步优化性能。实验表明,该方法优于许多强基线方法,甚至是在只有每类两个或更多标记样本的情况下。
Jun, 2023
本文通过案例研究,以开放式意图检测任务为研究对象,探讨使用ChatGPT作为数据增强技术以提高组合泛化性能,通过构建数据集并整合ChatGPT生成的合成数据来训练模型,通过严格评估多个基准测试,发现我们的方法在开放式意图检测中表现优于现有技术,并显著提升了模型性能,从而突显出ChatGPT等大型语言模型在自然语言理解任务中作为数据增强方法的潜力。
Aug, 2023
在意图检测任务中,利用意图标签中的有意义的语义信息对于少样本场景尤其有益。我们提出了一个端到端的One-to-All系统,可以将输入词汇与所有标签候选进行比较,从而充分利用标签的语义信息。实验结果表明,在训练资源极为有限的情况下,One-to-All在1、3和5个样本场景下实现了最先进的性能。此外,我们还提出了一种利用释义的新型预训练策略,使模型可以在意图检测任务的零样本跨领域泛化。
Sep, 2023