面向对话式搜索的零次查询重构
本文提出了使用零样本学习生成澄清问题的方案,并且通过问句模板和查询维度来引导澄清问题的生成,实验结果表明,该方法在自然度、有效性和多样性等方面表现优异。
Jan, 2023
该研究提出了一种用于会话查询重写的 few-shot 生成方法,使用规则和自监督学习生成弱监督数据,并使用 GPT-2 进行优化以重写会话查询,在 TREC Conversational Assistance Track 上,我们的弱监督 GPT-2 重写器提高了 12%的准确性,仅使用极少量的手动查询重写。在零 - shot 学习设置下,该重写器仍然能够给出与之前最先进的系统相当的结果。
Jun, 2020
通过使用零 - shot 询问版本,我们提出了一种基于集成提示技术的查询再构建方法,称为 GenQREnsemble,该方法利用零 - shot 指令的释义生成多组关键词,从而最终提高检索性能。
Apr, 2024
本文提出了一种基于神经符号框架的零样本问题回答方法,利用预训练模型的外部知识资源,获得了在不同任务中的一致性提升,并且在任务结构保持的同时还生成了公平和信息丰富的问题,从而提高了语言模型的学习效果。
Nov, 2020
本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型,通过利用槽位描述信息实现可重用概念在领域之间的迁移,并避免了显式概念对齐的训练复杂度,实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统,特别在低数据情况下表现更出色。
Aug, 2018
本研究聚焦于使用大型语言模型作为无样本关系抽取器。通过分析现有关系抽取提示的不足之处,并引入诸如 CoT 的最新提示技术,我们提出了一种名为 SumAsk 的简单提示方法,通过使用大型语言模型将关系抽取输入转化为有效的问答格式。同时,我们在各种基准测试和设置上进行了广泛的实验,研究了大型语言模型在无样本关系抽取方面的能力,发现 SumAsk 方法在不同模型尺寸、基准测试和设置上都能显著提高大型语言模型的性能,在与无样本和完全监督方法相比具有一定竞争力甚至优越性能的同时,大型语言模型在提取重叠关系方面表现出了良好的性能,然而,不同的关系之间性能差异较大,大型语言模型相较于小型语言模型在处理挑战性的无适用项关系时表现出了有效性。
Oct, 2023
本篇论文提出一种新的零样本学习范式,其适用于任何格式,并适用于一系列语言任务,如文本分类、常识推理、指代消解和情感分析,并将零样本学习转化为多选任务,从而避免大规模生成模型的问题。该方法不仅增加了模型的推广能力,而且显著减少了参数的数量,同时具有高效的训练和部署特点。经实验结果表明,该方法在多个基准测试中表现卓越,且仅使用了 235M 的参数,远小于拥有十亿参数的现有先进模型。
Oct, 2022
探讨了用于意图识别的广义零射击模式,并使用句子对建模方法,通过任务转移进一步提高性能,使用语境编码器的预训练技术使模型适用于主要且适应不断变化的应用。
Jun, 2022
本文提出一种简单有效的重新排序方法,利用预训练语言模型计算与检索的段落之间的关联度,从而提高开放式问题回答中的检索效果,并在多个数据集上进行了评估和实验,使得无监督和有监督的模型的检索准确率分别提高了 6-18% 和 12%。
Apr, 2022
通过使用两种基于集成的提示技术(GenQREnsemble 和 GenQRFusion)来改进搜索查询的检索性能,利用反馈信息提供更好的搜索体验,并建立了自动查询改写的最新技术水平。
May, 2024