EMNLPNov, 2022

校准相遇解释：一种简单有效的模型置信度估计方法

PDF
TL;DR本文提出 CME 方法，结合模型解释来降低非归纳属性的模型信心度，进而提高预测的后验概率校准性能。在六个数据集上的实验表明，该方法提高了所有设置下的校准性能，并在温度缩放的情况下进一步降低了预期校准误差。
confidence calibrationmodel explanationpre-trained language modelsattribution scorescalibration performance
发现论文，激发创造
  • 解释是否有助于校准黑箱模型？

    该研究探讨了如何通过利用模型行为的解释来改善黑盒模型在新领域中的性能，通过提取由黑盒模型解释技术生成的模型属性与人类直觉相结合的特征，使用一个简单的分类器作为校准器，我们成功地在应用程序方面提高了准确性，并证明了该校准模型在某种程度上在跨任务之间具有普适性。

    Oct, 2021

  • 重新审视校准：问答的案例

    该研究旨在提出一种更好的置信度校准指标 —MacroCE，该指标能更好地捕捉模型给出正确预测时高信心和给出错误预测时低信心的情况，并针对开放领域问答的实际应用，提出了新的校准方法 ConsCal，该方法不仅考虑模型的最终预测，还考虑了多个模型检查点的一致性预测，提供了一种全新的校准视角、新的指标以及根据指标提出了更加有效的校准方法。

    May, 2022

  • 校准解释

    本文研究了不确定性和可解释性之间的联系，特别是探讨了置信度和解释性之间的关系，发现模型的置信度与我们解释模型的能力有交互作用，并提出了一种简单的实践方法来改善解释结果：调整置信度以提高解释效果。

    Jul, 2022

  • 校准情况下的模型解释

    本文研究了在校准背景下，使用关注力分布实现模型解释性的难点，发现没有校准的模型使用关注力分布的方式实现解释性是不稳定的，这引发了关于关注力在可解释性中的实用性的疑问。

    Jun, 2019

  • AI 辅助决策中置信度和解释对准确性和信任校准的影响

    研究了基于不同特征的人工智能辅助决策场景下，人类对人工智能的信任度与信任度校正，以及人类与人工智能协同工作的影响因素。结果表明，人类信任度的校正能够通过特定的置信度得到有效提高，尽管人类的专业独特知识对于决策的最终结果有良好的辅助作用，但同时也存在着使用本地解释会出现的问题。因此，我们需要探索新的可信度解释方法来更好地衡量和校正人类对人工智能的信任度。

    Jan, 2020

  • 大型语言模型中模型和人类置信度之间的校准差距

    大型语言模型为了赢得人类的信任，需要具备良好的校准能力，准确评估和传达其预测的正确概率。本研究通过实验研究了人类用户对于语言模型可信度的感知和个性化解释对此感知的影响，发现默认解释会导致用户过高估计模型的信心和准确性，而更准确反映模型内部可信度的解释能够对用户感知产生显著影响，增强用户对语言模型输出的信任和准确性评估。透明传达语言模型可信度在高风险应用中尤为重要，特别是需要理解人工智能生成信息可靠性的场景。

    Jan, 2024

  • 思维周期：通过稳定解释衡量 LLM 的信心

    通过使用解释蕴涵作为分类器可能性，我们提出了一种框架来测量语言模型不确定性，以改善置信度指标 (AURC 和 AUROC)。

    Jun, 2024

  • 重新思考用户研究设计以评估模型解释

    该研究通过一个众包实验，探讨解释机器学习模型的预测对人类是否具有帮助，并发现在给定特征系数的情况下，人们能够更有效地对线性词袋模型进行操纵，但解释对 BERT 型分类器并没有显著提高操纵能力，而通过伪造 BERT 模型的线性模型的对全局归属的解释则可以有效地操作 BERT 型模型。

    Dec, 2021

  • 神经机器翻译推理校准

    本文对神经机器翻译中置信度校准的问题进行研究，发现在推断时训练数据与推断数据的不同导致了校准不准确的问题。作者提出了一种新的 graduated label smoothing 方法来提高推断校准和翻译性能。

    May, 2020

  • LLM 生成代码的质量与信任

    该论文介绍了一种评估生成模型校准性的框架，并发现大部分生成代码模型在校准性方面表现不佳。通过使用 Platt 缩放等标准方法，可以改善校准性，从而提供更准确的决策支持和为未来研究提供校准方法的框架。

    Feb, 2024