Aug, 2023

利用少样本数据增强和逐层引导的响应生成

PDF
TL;DR本文讨论使用主观知识进行任务导向型对话建模的方法，重点关注回答生成。我们通过广泛的数据分析确定了回答长度、情感和对话行为等关键因素，并使用少样本学习来增强数据。我们提出了三种方法应用于 DSTC11：（1）任务特定模型探索，（2）将最频繁的问题纳入所有生成的回答，以及 （3）结合了 GPT-3 和 ChatGPT 的瀑布提示技术。
task-oriented conversational modellingsubjective knowledgeresponse generationfew-shot learningdstc11
发现论文，激发创造
  • 通过提示进行弱监督的对话理解数据增强

    本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

    Oct, 2022

  • 使用 ChatGPT 生成和增强训练数据的 ZeroShotDataAug

    利用生成式语言模型 ChatGPT 生成合成训练数据，以增强低资源场景下的数据，我们使用特定任务的 ChatGPT 提示，表现优于现有方法，并研究了评估合成数据相似性的方法，以验证和评估所生成数据的质量。

    Apr, 2023

  • Few-Shot Bot: 基于提示的对话系统学习

    本文探讨了通过基于提示的少样本学习在对话任务中的应用，通过对多种大小的语言模型进行测试，提出一种新的无需微调的提示分类器，并结合技能选择器创建了一种称为 Few-Shot Bot 的端到端聊天机器人，只需使用少量对话示例便可以完成知识检索并生成人类般自然的响应。

    Oct, 2021

  • 利用常识和数据增强的目标导向对话响应生成

    本文介绍了一种新的针对目标引导的响应生成技术，它使用共识知识概念的桥接路径作为中间步骤，实现对话系统转向目标句子的平滑过渡，用以创造非侵入式的建议或引入对话新话题，并说明了一种更可靠的评估指标，推进对话系统设计者对对话控制的更加有效实施。

    May, 2022

  • 探索基于提示的少样本学习用于基于对话生成的实用对话系统

    本研究提出了一种基于提示的方法，通过连续或离散提示来区分不同构建的输入，例如基础来源和会话内容，证明提示的语言模型表现优于会话模型，并进一步分析影响提示效果的各种因素，为未来研究提供了有价值的发现和见解。

    Sep, 2021

  • 用于少样本生成基于内容的问答对话的结构化思路引导

    我们提出了一种结构化的思维链（SCoT）提示方法，使用预训练的大型语言模型（LLM）生成基于内容的多轮问答对话，并通过将复杂任务分解为状态机中的多个状态，通过其专用状态执行各种子任务，例如读取内容和生成话语等，以增加对基础文档的代理忠实度并减轻错误生成。

    Feb, 2024

  • 可以提供进一步帮助吗？使用非结构化知识访问来改善任务导向的对话建模

    本研究针对限定领域 API 的局限性，采用一种基于查询 - 选择 - 回应的方法，引入了外部非结构化知识资源，通过对话上下文信息的提取和增强实现了对超出 API 覆盖范围用户请求的响应，并在 DSTC9 Track 1 基准数据集上实现了全自动和人工评估的最优性能，验证了我们的贡献的有效性。

    Jun, 2021

  • 无标注数据下的少样本对话生成：一种迁移学习方法

    本文介绍了一种基于 MetaLWOz 数据集的知识迁移技术，实现在少量样本下训练对话系统的方法，并在多个领域的人机对话中达到了最先进的结果，同时也不需要任何标注数据。

    Aug, 2019

  • 面向任务导向对话系统的语境数据增强

    我们开发了一种新型的对话扩充模型，通过完整的对话上下文生成用户的回合，并通过语言模型的新提示设计和输出重新排序，所生成对话可直接用于训练下游对话系统，在常见的基准数据集 MultiWoZ 和 SGD 上，展示了我们的对话扩充模型生成高质量对话并使对话成功率较基准线提高多达 8%。

    Oct, 2023

  • 面向任务的对话中基于非结构化知识的高效检索增强生成

    本文总结了我们在第九届对话系统技术挑战赛（DSTC 9）第一轨中的工作，我们提出了一种基于层次分类和序列嵌入的检索和生成方法，以实现针对任务导向对话中利用非结构化文本信息的回答生成。

    Feb, 2021