Apr, 2020

CG-BERT：基于BERT的有条件文本生成方法应用于广义少样本意图检测

HTML
PDF
TL;DR本文提出了一种新型模型CG-BERT来处理自然语言理解中的一种更现实和困难的问题——广义少样本意图检测，该模型有效利用了大规模预训练语言模型，通过建模话语分布使用变分推理来生成新意图的多样化话语。实验结果表明，该模型在两个真实数据集上取得了1-shot和5-shot设置的最优性能。
发现论文，激发创造
  • 针对任务导向对话的少样本自然语言生成

    该论文提出 FewShotWoz 模型作为 Natural Language Generation 模块，使用 SC-GPT 模型进行预训练来实现带有有限数量 labeled data 的多领域适配，通过实验证明其效果显著优于已有方法。

    Feb, 2020

  • 使用双语句编码器的高效意图检测

    该研究提出一种利用预训练双句编码器的意图检测方法，证明在少样本学习场景下，该方法比全BERT-Large模型的意图检测器表现更加稳定、更具普适性，且能够在短时间内训练并保持超参数稳定性。此外，研究团队还发布了相关代码和单域13,083个annotated样本的77种意图的数据集。

    Mar, 2020

  • 少样本意图的变分自然语言生成

    本文提出了一种组合变分自然语言生成器（CLANG），它是基于变压器的条件变分自编码器，利用两个潜在变量分别表达意图中两个独立部分（领域和操作），并采取对比正则化损失来提高生成器学习，并在广义的少样本意图检测任务上进行了实验证明表明，我们的模型在两个真实世界的意图检测数据集上均达到了最先进的性能。

    Sep, 2020

  • AUGNLG: 自训练数据增强的小样本自然语言生成

    本篇论文提出了一种名为 AUGNLG 的新型数据增强方法，将自我训练的神经内存模型与少量训练的神经语言理解模型结合起来，自动从开放领域的文本中创建 MR-to-Text 数据，以提高自然语言生成的效率并在 FewShotWOZ 数据上表现优异。

    Jun, 2021

  • Few-shot意图分类的预训练有效性

    本文研究了少样本意图分类预训练的有效性，发现仅使用公共数据集上的少量标记数据对BERT进行微调即可高效地生成一个预训练模型IntentBERT，其性能超过现有预训练模型，具有高泛化能力。

    Sep, 2021

  • 基于对比度预训练和微调的小样本意图检测

    本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

    Sep, 2021

  • Z-BERT-A: 未知意图识别的零-shot管道

    通过提出具有 Transformer 结构和 fine-tuning 在 NLI 任务中训练的 Z-BERT-A 的方法，能够在零样本设置下有效地执行意图发现任务，从而能够在线生成新的意图。

    Aug, 2022

  • ChatGPT作为数据增强在组合泛化中的应用研究：以开放意图检测为例

    本文通过案例研究，以开放式意图检测任务为研究对象，探讨使用ChatGPT作为数据增强技术以提高组合泛化性能，通过构建数据集并整合ChatGPT生成的合成数据来训练模型，通过严格评估多个基准测试，发现我们的方法在开放式意图检测中表现优于现有技术，并显著提升了模型性能，从而突显出ChatGPT等大型语言模型在自然语言理解任务中作为数据增强方法的潜力。

    Aug, 2023

  • 所有标签汇聚：具有效标签语义编码范式的低样本意图检测

    在意图检测任务中，利用意图标签中的有意义的语义信息对于少样本场景尤其有益。我们提出了一个端到端的One-to-All系统，可以将输入词汇与所有标签候选进行比较，从而充分利用标签的语义信息。实验结果表明，在训练资源极为有限的情况下，One-to-All在1、3和5个样本场景下实现了最先进的性能。此外，我们还提出了一种利用释义的新型预训练策略，使模型可以在意图检测任务的零样本跨领域泛化。

    Sep, 2023

  • 生成后精炼：零样本意图检测的数据增强

    本文研究了在零资源领域内进行意图检测的数据增强方法，解决了现有方法依赖有限标注示例的问题。作者提出了一种两阶段的方法，首先使用开源大型语言模型生成意图标签的表达，然后通过小型序列到序列模型进行精炼。研究表明，该方法在未见领域的数据利用率和多样性显著优于现有零样本基线。

    Oct, 2024