通过提示进行弱监督的对话理解数据增强

Oct, 2022

通过提示进行弱监督的对话理解数据增强

Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding

Maximillian Chen, Alexandros Papangelis, Chenyang Tao, Andy Rosenbaum, Seokhwan Kim...

TL;DR本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

Abstract

dialogue understanding tasks often necessitate abundant annotated data to achieve good performance and that presents challenges in low-resource settings. To alleviate this barrier, we explore few-shot data augmentation<

dialogue understanding data augmentation pre-trained language models few-shot learning classification tasks

发现论文，激发创造

面向任务导向对话系统的语境数据增强

我们开发了一种新型的对话扩充模型，通过完整的对话上下文生成用户的回合，并通过语言模型的新提示设计和输出重新排序，所生成对话可直接用于训练下游对话系统，在常见的基准数据集 MultiWoZ 和 SGD 上，展示了我们的对话扩充模型生成高质量对话并使对话成功率较基准线提高多达 8%。

Oct, 2023

PromptDA: 基于标签的数据增强，针对基于提示的小样本学习

本研究利用丰富的标签语义信息提出了一种新颖的标签引导数据增强框架 PromptDA，通过有效地利用标签语义和数据增强来提高自然语言理解的性能，以解决如何为基于 Prompt 的 few-shot 调整设计有效的数据增强方法的重要研究问题。

May, 2022

使用预训练语言模型进行口语理解的数据增强

本研究提出了一种数据增量方法，利用预训练语言模型提高生成话语的变异性和准确性，同时探讨和提出了两种在 SLU 中被忽视的半监督学习情况的解决方案。实证结果表明，我们的方法可以生成合成训练数据，在各种情况下提高了语言理解模型的性能。

Apr, 2020

无标注数据下的少样本对话生成：一种迁移学习方法

本文介绍了一种基于 MetaLWOz 数据集的知识迁移技术，实现在少量样本下训练对话系统的方法，并在多个领域的人机对话中达到了最先进的结果，同时也不需要任何标注数据。

Aug, 2019

超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

Apr, 2022

利用少样本数据增强和逐层引导的响应生成

本文讨论使用主观知识进行任务导向型对话建模的方法，重点关注回答生成。我们通过广泛的数据分析确定了回答长度、情感和对话行为等关键因素，并使用少样本学习来增强数据。我们提出了三种方法应用于 DSTC11：（1）任务特定模型探索，（2）将最频繁的问题纳入所有生成的回答，以及（3）结合了 GPT-3 和 ChatGPT 的瀑布提示技术。

Aug, 2023

循环中的语言模型：将提示融入弱监督

本研究提出使用大型预训练语言模型进行弱监督学习的策略，并使用 Snorkel 系统去噪声标签，得到的训练数据可提高分类器的准确性，相比于零样本方法，错误率平均降低 19.5%。此外，该方法所得分类器的准确度相当或高于手动设置的规则。

May, 2022

端到端任务导向对话的有效数据增强方法

该研究通过四种自动方法在单词和句子级别上增强数据，提高目标导向对话模型的数据效果，并在两个数据集上进行实验，结果表明四种数据扩充方法在 Success F1 score 方面均能显著提高。进一步分析确认，增加用户话语的多样性可以使端到端模型学习特征更为稳健。

Dec, 2019

使用现成大型语言模型进行意图分类的数据增强

本研究提出了一种基于提示的方法，使用诸如 GPT-3 等预训练语言模型来生成带标签的意图分类的训练数据，与需要对数据生成进行任务特定的 LM 微调的方法相比，该方法不需要超参数调整，即使在训练数据非常缺乏的情况下也适用，并且评估结果表明，当考虑到的意图彼此足够不同时，GPT 生成的数据可以显著提高意图分类器的性能；而在半导体上的那些任务中，生成的数据的效果较差，原因是 GPT 经常生成错误的语句，而不是所需的语句。

Apr, 2022

基于弱监督的口语理解低资源流水线

本文提出了一种基于提示的弱监督学习方法，用于在未标记的数据上获取嘈杂的标签，并在许多口语理解任务上取得了可靠的表现，优于传统的规则方法和其他竞争性的低资源基准。

Jun, 2022