May, 2023

有选择性地回答含糊问题

PDF
TL;DR我们从不确定性的角度研究了问答系统，提出一种基于采样的可靠度量方法并发现它在校准答案方面的表现优于模型准确率或自验证方法，这对于回答相对模糊的问题有更明显的改善效果。
trustworthy language modelsquestion answeringuncertaintycalibrationsampling-based confidence scores
发现论文，激发创造
  • 模型分析与评估：歧义问题回答

    研究 Question Answering 模型回答模糊问题的挑战，探讨模型 / 数据扩展和自动评估指标对模型质量的影响，并研究模型答案的证据根据，旨在提供有关当前方法局限性的宝贵见解。

    May, 2023

  • 了解问题更多：在问答中提高校准度

    研究了问题回答中的校准问题，通过利用输入示例信息和数据增强，提高了在阅读理解基准测试中校准准确性 5-10％，并在开放检索设置中呈现了第一次的校准研究，比较了基于检索的跨度预测模型和答案生成模型的校准精度

    Jun, 2021

  • 利用包含问题、答案和修订的数据库回答模棱两可的问题

    通过利用来自维基百科的明确问题数据库，我们提出了一个新的用于回答含糊问题的最新方法，在含糊问题的多个答案的总结中，我们的方法在回收率指标上提高了 15%（相对改进），在评估从预测输出中消除模糊问题的指标上提高了 10%。从生成的问题数据库检索还可以在多样的篇章检索中取得巨大的改进。

    Aug, 2023

  • 在开放域问答中提出澄清问题以处理歧义

    提出了一种基于澄清问题的开放领域问答方法，首先使用 InstructGPT 和手动修订生成澄清问题的数据集 CAMBIGNQ，然后设计了一系列任务和合适的评价指标，在模糊性检测和基于澄清问题的问答方面取得了 61.3 F1 和 40.5 F1 的成果。

    May, 2023

  • 语言模型何时知道？关于语言模型在问答任务中的校准问题

    本文研究从校准的角度考察自然语言模型 (T5、BART、GPT-2) 的知识储备，找到可靠性评估，提高其置信度与正确概率的相关性的方法。实验数据表明，校准可以让模型的表现得到提高。

    Dec, 2020

  • 自然语言生成中的主观不确定性量化和校准

    利用贝叶斯决策理论的视角，本研究通过假设我们的效用是通过比较生成的回答和理论上的真实回答的相似度来衡量，从而解决了大语言模型生成自由形式回答时的不确定性量化问题。我们进一步从缺失数据的角度推导出一种表征为过量风险的认知不确定性衡量方法。所提出的方法可以应用于黑盒语言模型，并在问答与机器翻译任务上展示了如何从 GPT 和 Gemini 模型中提取具有广泛意义的不确定性估计并量化它们的校准度。

    Jun, 2024

  • 在适当时候提出正确问题：人类和模型不确定性对于提问澄清问题的指导

    通过团队对话任务为实验平台，研究模型不确定性与人类不确定性之间的关系，提出了一种基于模型不确定性估计的生成澄清问题的方法，并与其他几种方法进行对比，显示出在任务成功方面有显著的改进。

    Feb, 2024

  • 必要时澄清：通过与语言模型的交互解决多义性

    我们提出了一个任务无关的框架来通过询问用户澄清问题来解决模型中的歧义，我们的方法在确定何时需要澄清、确定要问的澄清问题以及通过澄清获得的新信息方面都取得了显著成果，并对模型的不确定性进行了估计，我们的方法在准确识别需要澄清的预测方面始终优于现有的不确定性估计方法，使系统能够在仅允许在 10％的示例上进行澄清时将性能提升两倍。

    Nov, 2023

  • 语言模型（基本）知道它们知道的

    本研究旨在探究自然语言模型是否可以自我评估其答案准确性并预测正确答案概率，结果表明较大模型能够准确预测答案概率，训练可提高模型预测 P（IK）的能力，但模型在新任务上仍存在校准困难。

    Jul, 2022

  • 研究多选设置下对齐语言模型的不确定性校准

    对齐的语言模型在多选题设置下多显示过于自信的输出答案，我们系统评估了对齐过程对语言模型的逻辑回归置信度校准的影响，并提出了易于实施且高效的校准方法。

    Oct, 2023