SIGIRJun, 2020

少样本生成式对话查询重写

PDF
TL;DR该研究提出了一种用于会话查询重写的 few-shot 生成方法，使用规则和自监督学习生成弱监督数据，并使用 GPT-2 进行优化以重写会话查询，在 TREC Conversational Assistance Track 上，我们的弱监督 GPT-2 重写器提高了 12％的准确性，仅使用极少量的手动查询重写。在零 - shot 学习设置下，该重写器仍然能够给出与之前最先进的系统相当的结果。
发现论文，激发创造
  • 面向对话式搜索的零次查询重构

    通过无监督对话查询改写，解决了普遍存在的语义歧义和遗漏问题，提升了零样本会话搜索的性能和可解释性。

    Jul, 2023

  • CO3: 低资源对比协同训练用于生成性会话查询重写

    以极少资源为基础的生成式对话查询重写，通过使用大量无标签数据进行对比协同训练，克服了噪音和语言风格变化的困扰，展示了在少样本和零样本场景下的优越性和更好的泛化能力。

    Mar, 2024

  • ConvGQR: 面向对话搜索的生成查询改写

    本文提出了 ConvGQR 的框架，该框架基于生成预训练语言模型，一种用于查询重写，另一种用于生成潜在答案。通过结合两者，ConvGQR 可以产生更好的搜索查询。此外，我们提出了一种知识注入机制来优化查询重写和检索，实验表明 ConvGQR 的有效性。

    May, 2023

  • 对话式搜索的零样本澄清性问题生成

    本文提出了使用零样本学习生成澄清问题的方案，并且通过问句模板和查询维度来引导澄清问题的生成，实验结果表明，该方法在自然度、有效性和多样性等方面表现优异。

    Jan, 2023

  • 针对任务导向对话的少样本自然语言生成

    该论文提出 FewShotWoz 模型作为 Natural Language Generation 模块，使用 SC-GPT 模型进行预训练来实现带有有限数量 labeled data 的多领域适配，通过实验证明其效果显著优于已有方法。

    Feb, 2020

  • GenQREnsemble：用于生成性查询重表述的零射预训练语言模型集成提示

    通过使用零 - shot 询问版本，我们提出了一种基于集成提示技术的查询再构建方法，称为 GenQREnsemble，该方法利用零 - shot 指令的释义生成多组关键词，从而最终提高检索性能。

    Apr, 2024

  • 无监督的上下文重写技术，用于开放领域对话

    采用明确的语境重写方法，基于强化学习的上下文重写网络有助于候选检索，可解释的上下文建模以及在多轮会话中使用单轮框架。

    Oct, 2019

  • ChatGPT 中零样本命名实体识别的实证研究

    该论文主要研究大型语言模型在零 - shot 信息提取方面的性能，并提出针对命名实体识别的推理策略，包括分解式问答范式、句法增强和自一致性等方法，并在七个基准测试中取得了显著的改进，对错误类型进行了全面分析，并验证了这些方法在少样本情况和其他大型语言模型中的有效性。

    Oct, 2023

  • 关于故事理解中可控问答生成的少样本提示

    基于儿童故事文本，本研究提出了一种少样本提示策略来控制生成问题 - 回答对，并通过实证评估表明，与参考模型相比，该策略在语义接近度评估以及问题 - 回答对的多样性和连贯性等场景中有效地将生成过程控制在一定范围内。

    Apr, 2024

  • 再探大型语言模型作为零 - shot 关系抽取器

    本研究聚焦于使用大型语言模型作为无样本关系抽取器。通过分析现有关系抽取提示的不足之处，并引入诸如 CoT 的最新提示技术，我们提出了一种名为 SumAsk 的简单提示方法，通过使用大型语言模型将关系抽取输入转化为有效的问答格式。同时，我们在各种基准测试和设置上进行了广泛的实验，研究了大型语言模型在无样本关系抽取方面的能力，发现 SumAsk 方法在不同模型尺寸、基准测试和设置上都能显著提高大型语言模型的性能，在与无样本和完全监督方法相比具有一定竞争力甚至优越性能的同时，大型语言模型在提取重叠关系方面表现出了良好的性能，然而，不同的关系之间性能差异较大，大型语言模型相较于小型语言模型在处理挑战性的无适用项关系时表现出了有效性。

    Oct, 2023