探索基于程序提示的混合问答
通过提出混合提示策略和检索思路以进行文本表格问答,我们的方法通过上下文学习和以连贯思路引导模型,在少样本情况下,相对于完全监督的最先进方法,在 MultiHiertt 数据集上实现了卓越的性能。
Sep, 2023
基于检索的代码问答模型通过预训练模型使用构建的双模和单模数据集来匹配自然语言查询与相关代码片段。本文介绍了 ProCQA,一个从 StackOverflow 社区提取的大规模编程问答数据集,提供自然结构的混合模态问答对。为了验证其有效性,我们提出了一种模态不可知的对比预训练方法,以改善当前代码语言模型的文本和代码表示之间的对齐。与先前主要使用从 CodeSearchNet 中提取的双模和单模对进行预训练的模型相比,我们的模型在广泛的代码检索基准上表现出显著的性能改进。
Mar, 2024
本文提出了一种名为 ProP 的方法,它利用 GPT-3 这个大型语言模型进行知识库构建任务,结合多种提示技巧,结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等,从而获得了较高的预测质量。
Aug, 2022
ProQA 是一个统一的 QA 范式,通过结构提示进行预训练,可以在所有 QA 任务中同时建模知识概括,同时保持每个特定 QA 任务的知识定制。实验证明其在 11 个 QA 基准上展示了强大的性能提升,并在连续学习和迁移学习等方面表现出强大的能力。
May, 2022
我们提出了一个名为 Pro-QE 的查询感知提示融合框架,它可以通过上下文信息聚合来融合现有查询嵌入方法并处理新出现实体的嵌入问题。实验证明我们的模型成功地处理了逻辑查询中的未知实体问题。
Mar, 2024
本论文提出了一种名为 “Prophet” 的框架,采用两个补充答案启发式条目对 GPT-3 进行提示,以提高其理解任务的能力,从而在基于知识的视觉问答方面显著优于所有现有的最先进方法,分别在 OK-VQA 和 A-OKVQA 的测试集上达到了 61.1%和 55.7%的准确率。
Mar, 2023
本文提出了 Prompt-based Conservation Learning (PCL) 框架,提供支持证据不足以证明模型已完成所需推理以获得正确答案。通过在单跳 QA 任务上训练模型并为多跳 QA 任务分配额外的子网络,PCL 获得了新的知识并在保留旧知识的同时减轻了遗忘。实验结果表明,PCL 在多跳 QA 方面具有竞争力,并保留了相应的单跳子问题的良好性能。
Sep, 2022
本文介绍了一个题库 KQA Pro,旨在解决现有题库对多复杂推理能力的不足,采用了一种可组合且可解释的编程语言 KoPL 来表示复杂问题的推理过程,提供了与每个问题对应的 KoPL 程序和 SPARQL 查询,可以用于知识库问答和语义解析任务,并将其视为测试多种推理能力的诊断性数据集。实验结果表明,SOTA KBQA 方法在 KQA Pro 上无法取得与当前数据集同样的优异结果,这表明 KQA Pro 很具有挑战性,需要进一步的研究努力。
Jul, 2020
人工智能在图上的通用智能在各种应用中取得了显著的进展,然而传统的 “预训练和微调” 范式在复杂和小样本场景下存在低效和负迁移问题。图提示学习作为一种有希望的替代方案出现,利用轻量级提示来操作数据,通过重新构思下游任务来填补任务间隙。然而,仍存在几个关键挑战:如何统一各种图提示模型,如何评估图提示的质量,以及提高其实际应用中的可用性和选择性。为了应对这些挑战,我们推出了图提示学习的首个全面基准。我们的基准集成了六种预训练方法和五种最先进的图提示技术,在十五个多样化的数据集上进行评估,以评估性能、灵活性和效率。我们还介绍了一个名为 'ProG' 的易于使用的开源库,简化了各种图提示模型的执行,有助于客观评估。此外,我们提出了一个统一的框架,将现有的图提示方法分为两个主要方法:图提示和标记提示。该框架增强了图提示技术的适用性和比较性。代码可在此 https URL 中获取。
Jun, 2024