Sep, 2023

PACE: 使用 GPT-4 提升和增强的信心校准，用于云事件根因分析

PDF
TL;DR通过调用扩增语言模型，在云事故的根本原因分析中提高置信度评估，从而有效提升云事故管理的效率。
cloud incident root cause analysisai-driven toolsconfidence estimationlarge language modelscloud incident management
发现论文，激发创造
  • 使用上下文学习和 GPT-4 自动识别云服务故障根本原因

    提出了一种基于上下文学习的自动根因分析方法，通过对比多个大型语言模型，证明其在服务故障诊断中的优越性，实现了与 GPT-3 相比平均提升 24.8% 且在正确性和可读性上分别提升了 43.5% 和 8.7%，从而减少了使用经过微调的模型所需的高计算与维护成本。

    Jan, 2024

  • 估计大型语言模型置信度的方法

    评估测量大型语言模型（LLMs）在复杂医学任务中提供诊断建议时的置信度的方法，结果发现 SC Agreement Frequency 是测量 GPT4 置信度最有用的方法。

    Nov, 2023

  • 大型语言模型中的置信度和概率一致性调查

    通过使用各种数据集和提示技术，本研究探索了大型语言模型（LLMs）内部信心与其对外表达的一致性，其中 OpenAI 的 GPT-4 表现出最强的信心 - 概率对齐性，并有助于评估 LLMs 的风险和提高对模型可信度的认识。

    May, 2024

  • 促进 GPT-3 的可靠性

    本研究为了提高 OpenAI GPT-3 的可靠性，将其可靠性分解为四个方面：泛化性、社会偏见、校准性和事实性，并建立了简单有效的提示来提高其可靠性。通过适当的提示，GPT-3 在所有这些方面都比规模较小的监督模型更可靠。

    Oct, 2022

  • 仅使用生成进行大型语言模型的校准

    利用 APRICOT 方法，通过模型的文本输入和输出，设置置信度目标并训练附加模型，从而有效地进行大语言模型的置信度校准。该方法不仅概念简单，而且不需要访问目标模型的其他信息，不会干扰语言生成，并且在封闭型问答中以检测错误答案方面具有竞争性的校准误差表现。

    Mar, 2024

  • 结合置信度引导和基于样本的方法进行虚假信息缓解中的不确定性量化

    我们提出一种不确定性量化框架，利用直接置信度询问和基于样本的一致性方法，为 NLP 的假新闻抵制解决方案提供更好的校准，通过研究基于样本的一致性方法的校准，评估坚固的数值化提示的性能和分布偏移，结合基于样本的一致性和指示性方法提出一种混合框架，提高大型语言模型在假新闻抵制应用中的可靠性。

    Jan, 2024

  • 羊驼明白 GPT 无法显示的东西：置信度估计的代理模型

    维护用户信任的关键是通过使用含糊概率，提高大型语言模型的置信度估计；此外，使用语言置信度和替代模型概率的组合方法在评估置信度时表现出色。

    Nov, 2023

  • ChatGPT 公平性与可解释 - 引导提示的作用

    大规模语言模型在信用风险评估中的潜力研究表明，当遵循精心设计的提示并辅以领域特定知识时，这些语言模型可以与传统机器学习模型的性能相媲美。尤其值得注意的是，它们只使用了极少的数据 - 仅 20 个数据点，相比于机器学习模型的 800 个数据点少了 40 倍。大规模语言模型在降低误报率和增强公平性方面表现出色，这两个方面对于风险分析至关重要。虽然我们的结果没有超过传统机器学习模型，但它们突显了大规模语言模型在类似任务中的潜力，并为未来在多样化的机器学习任务中利用大规模语言模型的能力奠定了基础。

    Jul, 2023

  • 可靠性检查：对 GPT-3 在敏感话题和提示措辞方面响应的分析

    研究分析了大型语言模型对敏感主题的反应和提示措辞对模型反应的影响，结果显示 GPT-3 在肯定的阴谋论和刻板印象方面反应正确，但在常见的错误观念和争议方面则会出现错误，暴露出其不可靠性。

    Jun, 2023

  • 基于知识提示的评估器：一种新颖的可解释机器翻译评估方法

    本文提出一种基于 CoT 提示的 KPE 方法，该方法结合了 Perplexity、Token-Level 相似性和 Sentence-Level 相似性的技术。实验证明，与以前的深度学习模型和单步提示方法相比，该方法的分段估计性能得到了显著提高，并且提供了更好的 MT 质量估计可解释性。

    Jun, 2023