confidence estimation | BriefGPT

关键词confidence estimation

搜索结果 - 37

ACL当前估计器的可靠性和稳健性：对 LLMs 的事实置信度
大型语言模型的事实准确性不可靠，为了解决这个问题，自然语言处理研究人员提出了一系列技术来估计模型对事实的置信度。然而，由于缺乏系统性的比较，不清楚不同方法之间的差异。为了填补这一空白，我们提出了一个调查和实证比较事实置信度估计器的实验框架，
PDF13 days ago
InternalInspector $I^2$: LLMs 内部状态中的强韧置信度估计
通过引入对内部状态（包括注意力状态、前向状态和所有层的激活状态）进行对比学习的新框架 InternalInspector，我们的研究应对了大型语言模型（LLMs）产生高置信度错误输出（即幻觉）的挑战，并在各种自然语言理解和生成任务中显著提高
PDF15 days ago
大型语言模型信心估计通过黑盒访问
利用黑盒或查询访问大型语言模型，通过工程化新特征并训练一个可解释的逻辑回归模型，我们提出了一个简单且可扩展的框架来估算模型响应的置信度。我们的实证研究表明，我们的简单框架在 TriviaQA、SQuAD、CoQA 和自然提问等基准数据集上，
PDFa month ago
利用自反论辩教授 LLM 学生表达自信
使用先进的 SaySelf 训练框架，通过自动总结知识不确定性以及分析不一致性，教导大语言模型表达更准确的细粒度置信度评估，并通过强化学习和奖励机制校准置信度估计，降低校准错误并保持任务性能。
PDFa month ago
置信度感知子结构束搜索（CABS）：通过大型语言模型减轻结构化数据生成中的幻觉
使用大型语言模型（LLMs）生成结构化数据时，为了解决不正确引用或幻觉问题，需要将某种模型置信度方法纳入其中。本研究首先探讨了生成子结构级数据的置信度估计方法，引入了基于 LLM 变换器的 Confidence Network 概念，作为比
PDFa month ago
BayesJudge：基于贝叶斯核语言建模的法院判决预测中的置信度不确定性
利用贝叶斯方法和深度高斯过程，我们提出了一种名为 BayesJudge 的新型贝叶斯方法，通过贝叶斯千次采样 dropout 量化预测的不确定性，提高了预测的准确性和置信度评估，从而实现可靠的法律 AI 应用。
PDF3 months ago
通过引发忠实度来校准大型语言模型的置信度
通过将语言模型置信度分解为问题的不确定性和答案的忠诚度，我们提出了一种即插即用的方法来估计语言模型的置信度，并在 4 个 MCQA 数据集上对 6 个 RLHF-LM 进行实验，展现了良好的校准性能。此外，我们提出了两个新的评估指标 IPR
PDF3 months ago
大型语言模型的置信度估计：基于多个答案反思之前三思
针对大型语言模型（LLM），特别是黑盒模型的应用，评估输出可信度的置信度估计是关键。现有的 LLM 置信度估计通常因 LLM 对生成的错误答案过于自信而缺乏校准。现有方法解决过度自信问题的能力受到一个重要限制，即它们仅考虑 LLM 生成的一
PDF4 months ago
重新审视置信度估计：朝向可靠的故障预测
过去的研究表明，置信度评估方法往往会对错误的预测产生不利影响，本研究提出了一种新的置信度评估方法，通过寻找平坦极小值来扩大置信度差距，从而实现在多种分类场景下的失败预测性能的持续改进。
PDF4 months ago
多角度一致性提升大型语言模型中的置信度估计
通过多重视角的一致性方法（MPC），改进大型语言模型的置信度估计，减缓由于单一视角导致的过度自信问题，实现了最先进的性能。
PDF4 months ago
增强地球观测数据预测置信度的潜在空间度量
通过利用变分自编码器架构，本研究提出了一种衡量机器学习模型预测置信度的新方法，特别针对利用地球观测数据进行回归任务，以蚊子数量估计为重点。这种方法通过观测数据的潜在空间表示来派生置信度度量，建立了潜在表示的欧式距离与单个蚊子数量预测的绝对误
PDF5 months ago
TeLeS: 用于估计端到端自动语音识别的时间词汇相似度得分的方法
使用 Temporal-Lexeme Similarity 方法训练 Ancillary Confidence Estimation Model 并应用于 End-to-End Automatic Speech Recognition，取得
PDF6 months ago
基于 BLSTM 的端到端语音识别置信度估计
本研究利用双向长短时记忆（BLSTM）模型进行自动语音识别（ASR）中的可信度估计，通过利用多种 ASR 解码得分作为辅助特征，该模型在高度不平衡的情况下稳定展现出高可信度估计表现，并且大幅优于基于 Transformer 的可信度估计模型
PDF6 months ago
ICML基于深度学习的白细胞可解释分类研究
这项研究探讨了无标记法对白细胞自动分类的置信度估计的校准，比较了不同的可视化解释方法，并且在血细胞分析的不同场景中展示了这些方法的实用性。
PDF7 months ago
羊驼明白 GPT 无法显示的东西：置信度估计的代理模型
维护用户信任的关键是通过使用含糊概率，提高大型语言模型的置信度估计；此外，使用语言置信度和替代模型概率的组合方法在评估置信度时表现出色。
PDF8 months ago
语言模型置信度评估与校准调查
评估语言模型预测的可靠性和置信度以及解决其与 AI 安全需求的关系是一项重要研究领域，本文综述了语言模型置信度估计和校准的方法、技术和挑战，并提出了未来研究的方向。
PDF8 months ago
ICCVGACE：基于几何感知的 LiDAR 数据黑盒 3D 物体检测器的置信度增强
在广泛使用的基于 LiDAR 的三维物体检测中，由于架构设计选择通常是从二维图像领域采用，很容易忽略从物体提案中获得的基本几何信息。而在三维中，综合考虑物体属性和其周围环境对于区分真伪正检测是重要的，为此我们提出了 GACE，这是一种直观高
PDF8 months ago
PACE: 使用 GPT-4 提升和增强的信心校准，用于云事件根因分析
通过调用扩增语言模型，在云事故的根本原因分析中提高置信度评估，从而有效提升云事故管理的效率。
PDF10 months ago
ICLR使用未标注数据的置信度估计
通过检查训练过程中的预测一致性，我们提出了一种自信度评估方法，用于半监督学习场景下在大部分训练标签不可用的情况下合理地估计模型对未标记样本的自信度。我们使用训练一致性作为替代函数，并提出了一种一致性排序损失函数用于自信度评估。在图像分类和分
PDFa year ago
基于非自回归端到端语音识别系统的准确可靠置信度估计
这篇论文提出了 CIF-Aligned 的置信度估计模型（CA-CEM），并使用 Paraformer 实现了精确可靠的置信度估计，最终在 AUC、RMSE、ECE-U 等多个指标上获得显著改进。
PDFa year ago