- 逐步接受未知:迈向可靠的现实世界稀疏训练
稀疏训练是一种在实际应用中资源高效的深度神经网络方法,然而,本研究揭示了稀疏训练加剧了对未知样本的不可靠性,通过提出一种新的对未知样本敏感的稀疏训练方法,我们改进了模型的准确性和可靠性,有效降低了面对未知样本时的模型自信度。
- 自洽性提升数学推理的校准
我们设计了三种基于自洽性的成熟校准方法,用于数学推理任务的 LLM 发展。通过使用开源 LLMs(Mistral 和 LLaMA2)在 GSM8K 和 MathQA 两个流行的基准上进行评估,我们的方法在模型置信度和准确性之间建立了更好的联 - AAAI通过展开和征服的归因指导实现网络决策基础的更好可视化
本文提出了一种新颖的事后框架 UCAG,通过对模型置信度进行空间审查,增强了神经网络决策的解释能力。该方法通过细致地分析输入特征,提供了丰富而清晰的解释,从而提高了解释的表达能力,并超越了现有方法的性能。
- 深度学习中识别未知性的模糊度量
我们研究深度神经网络在其训练范围内的理解。我们提出了一种量化模型输入的不确定性的度量方法,基于训练模型在特征空间中学习的决策边界的几何安排和训练集的凸包。使用这种不确定性度量,我们的模型能够在遇到不确定的输入时放弃分类,从而使模型在更广泛的 - 专家负荷的重要性:高准确度和低人工操作网络
人工智能与人类协作系统中,基于模型置信度设置操作点来确定何时将决策委托给人类专家是确保最小误差的关键。我们提出一种新的补充损失函数,通过最大化置信度操作特性曲线下的面积,使深度神经网络同时提高分类准确性和减少委托给人类的样本数量。实验证明, - 如何通过波束搜索提高生成序列标注中的跨度级别置信度估计?
本文旨在提供一些关于如何估计生成序列标注模型的置信度的实证见解,特别是如何可靠地评估模型对每个标记的预测置信度,我们发现,简单地使用解码器的输出概率并不是实现良好校准置信度估计的最佳方法,而我们提出的通过顶部 - k 预测的统计数据的方法, - EMNLP如何选择形态变化数据
本篇论文研究了对于低资源语言的狭缺数据问题,通过使用主动学习方法,基于置信度、熵等策略选择最具信息的数据进行更准确的模型训练,实验证明这种方法可以显著提高模型性能。
- IJCAI使用反事实解释模型置信度提升模型理解和信任
本文阐述了反事实解释信心分数是如何帮助用户更好地理解和更好地信任 AI 模型的预测,在人机交互系统中展示信心分数可以帮助建立人类和 AI 系统之间的信任,提出了两种用于理解模型信心的方法:(1) 基于反事实例;和 (2) 基于反事实空间的可 - ACL了解问题更多:在问答中提高校准度
研究了问题回答中的校准问题,通过利用输入示例信息和数据增强,提高了在阅读理解基准测试中校准准确性 5-10%,并在开放检索设置中呈现了第一次的校准研究,比较了基于检索的跨度预测模型和答案生成模型的校准精度
- 通过辅助模型进行置信度估计
本文提出了一种新的模型置信度目标标准:真实类别概率(TCP),并通过辅助模型的学习方案,学习 TCP 标准。在失败预测和自我训练方面进行了广泛实验,并在图像分类和语义分割方面验证了该方法的相关性和性能。
- ICML基于置信度估计的不确定性感知狄利克雷网络故障预测
本研究介绍了基于不确定性的深度狄利克雷神经网络可靠地评估模型置信度和预测错误,提出新的准则基于置信度分数匹配来学习正确预测和失败的真实类别概率,并在多个图像分类任务上取得了优于传统网络最大类概率的预测真实类别概率的实验结果。
- 通过学习模型置信度来解决失败预测问题
研究了深度神经网络的可信度和故障预测,提出了一种基于真实类概率的模型置信度的新目标标准,通过在训练集上学习 TCP 标准进行故障预测,验证了该方法的有效性,超过了 MCP 到贝叶斯不确定性的几种强方法以及最近的专门用于故障预测的方法。
- ICML高置信度预测对抗样本
本文研究深度学习中的对抗样本问题,认为过度自信的模型更容易受到对抗样本的攻击,通过将鲁棒性与非校准模型置信度结合, 提供一种不需要数据增强的前进路径,探究对抗样本现象的成因并阐述了测试准确度与真实泛化性能之间的区别以及过拟合与随机效应的关系