May, 2023

通过骨架辅助提示传递进行少样本对话摘要

PDF
TL;DR本研究提出了一种 Skeleton-Assisted Prompt Transfer（SAPT）方法，利用生成骨架作为额外的监督信息来实现对话状态信息的更好使用，以促进少样本对话摘要中的跨任务知识转移。通过基于扰动的探针的新方法自动提取对话框架作为有监督的训练数据，避免了注释工作和领域知识的需求。研究表明，我们的方法显著优于现有的基准，并在促进跨任务知识转移中发挥了作用。
dialogue summarizationfew-shot learningknowledge transferprompt transferskeleton generation
发现论文，激发创造
  • PSP: 面向少样本抽象摘要的预训练软提示

    通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。

    Apr, 2022

  • 面向任务型对话系统的基于提示的小样本学习方法在信念状态跟踪中的研究

    我们探讨了基于任务导向的对话系统的对话信念状态跟踪（DST）问题。通过以 Prompt 为基础进行少样本学习，我们证明了 Prompt-based 方法在 DST 的 Few-shot 学习中具有潜在的潜力，并提供了未来改进的方向。

    Apr, 2022

  • 一种针对少样本对话状态跟踪的双提示学习框架

    通过设计双提示学习框架，利用预训练语言模型的语言理解和生成能力，将对话状态跟踪任务高效地转化为一项语言建模任务，提高了低资源情况下对话状态跟踪的效率。实验证明，该方法优于现有的少样本学习方法，并且可生成未见过的槽位。

    Jan, 2022

  • DS2: 对话总结作为对话状态的表示，基于模板的少样本对话状态跟踪

    本文提出基于语言模型的少样本对话状态追踪方法，将对话状态追踪问题重新表述为对话摘要问题，并使用合成的对话摘要训练模型。经实验证明，该方法在跨领域和多领域设置下的效果都优于以往方法，并提升训练和推理速度。

    Mar, 2022

  • SPoT: 通过软提示传递实现更好的冻结模型调整

    本文介绍了一种使用少量参数进行预训练语言模型在下游任务中的应用实现，该方法名为 SPoT：Soft Prompt Transfer，通过学习源任务的 prompt 来初始化目标任务的 prompt，从而提升了 Prompt Tuning 的性能，并在语言模型大小上向 SuperGLUE 基准匹配或胜过标准模型调整，同时减少了多达 27,000 倍的任务特定参数，可以通过大规模的实验证明 prompt 的任务可传递性，最后还提出了一种高效的检索方法来识别相似的任务和预测最适合新目标任务的来源任务。

    Oct, 2021

  • 通过提示进行弱监督的对话理解数据增强

    本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

    Oct, 2022

  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • 带语义脚手架的抽象对话摘要

    本文提出了一种基于 MultiWOZ 数据集的抽象对话总结数据集和一种名为 Scaffold Pointer Network (SPNet) 的抽象对话总结模型，并提出了一种新的评估度量标准考虑了关键信息实体。在所有自动和人工评估指标上，SPNet 均优于现有的抽象概括方法。

    Oct, 2019

  • 本体增强的少样本学习提示微调

    本研究提出了一个基于知识注入和预训练语言模型的本体增强提示调整（OntoPrompt）方法，能够处理结构数据缺失、噪声和异质性问题，该方法在关系抽取、事件提取和知识图谱完成等三个任务中得到了比基准更好的性能。

    Jan, 2022

  • 模型集成而非提示融合：针对少样本提示调整的样本特定知识迁移方法

    本文关注于如何提高 Prompt tuning 在 few-shot learning 任务中的性能。作者们实现了带有多种 source prompts 的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了 Sample-specific Ensemble of Source Models (SESoM) 方法。他们在八个 NLP 任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。

    Oct, 2022