为消除合同歧义生成澄清问题
通过收集并提出一个名为 CodeClarQA 的新数据集,研究人员证实使用澄清问题可以有效解决自然语言描述中模糊不清的部分,从而提高生成的可执行程序代码的准确性。
Dec, 2022
通过使用 OpenAI 的 GPT-3.5-Turbo,我们提出了一种基于模板的法律问题回答方法,采用探索方法论,并通过定性实验结果比较我们的方法与常见的语义匹配方法,发现尽管准确性较低,但我们的模板提示更加准确。通过对提示的进一步调整和上下文学习的使用,我们能够进一步提高我们的方法的性能和可靠性。
Oct, 2023
提出了一种基于澄清问题的开放领域问答方法,首先使用 InstructGPT 和手动修订生成澄清问题的数据集 CAMBIGNQ,然后设计了一系列任务和合适的评价指标,在模糊性检测和基于澄清问题的问答方面取得了 61.3 F1 和 40.5 F1 的成果。
May, 2023
我们提出了一个任务无关的框架来通过询问用户澄清问题来解决模型中的歧义,我们的方法在确定何时需要澄清、确定要问的澄清问题以及通过澄清获得的新信息方面都取得了显著成果,并对模型的不确定性进行了估计,我们的方法在准确识别需要澄清的预测方面始终优于现有的不确定性估计方法,使系统能够在仅允许在 10%的示例上进行澄清时将性能提升两倍。
Nov, 2023
通过对不同利益相关方的观点进行实证研究,本文使用基于 BERT 的微调方法来识别合同句子中的不公平性,取得了 84% 的准确率,相比于 Vicuna-13B 的思维链推导方法,提高了 9% 的性能。
Dec, 2023
为了解决会话式搜索系统中存在的问题,本文提出了 PAQA,这是 AmbiNQ 数据集的扩展,通过考虑用户查询和文档中存在的歧义,生成相关的澄清问题,并评估各种模型以及检索过程对歧义检测和澄清问题生成的影响。
Feb, 2024
通过基于自监督的新型启动框架,从 stackexchange 中提取 post-comment 元组,利用神经网络分类器构建了一个多样化、大规模的澄清问题数据集。将该数据集应用于问题回答的下游任务的实验表明其效用,并放出名为 ClarQ 的含 173 个领域的 2M 个实例的数据集。其目的是促进澄清问题生成的研究,以提升对话和问题回答系统。
Jun, 2020
提出了一种风险感知的对话式搜索代理模型,平衡了回答用户查询和提出澄清问题的风险,并通过强化学习策略在 MSDialog 数据集上得到了比非风险感知基线更好的结果。
Jan, 2021
本文介绍了在开放领域信息寻求对话系统中提出澄清问题的任务,并提出了一个离线评估方法和一个命名为 Qulac 的数据集,以便评估模型的性能,其实验表明优质问题有助于提高信息检索的效率,并提出一个由三个部分构成的检索框架,该模型显著优于竞争基线。
Jul, 2019
本文提出了通过增强学习模型来澄清模糊问题的方法,包括分割问题、选择标签、确认意图和构建适当的响应。模型基于深度政策网络的强化学习模型,通过真实用户点击数据评估并展示了显著的性能提升。
Dec, 2020