- 神经算子引导高斯过程框架用于参数化偏微分方程的概率解
神经算符、高斯过程、偏微分方程、不确定性度量和算符学习是该研究论文的关键词,提出了一个新的神经算符引导的高斯过程框架,通过实验验证了其在各种 PDE 示例中的优越准确性和预期不确定性特性。
- 基于不确定性的 LLMs 弃权改善安全性并减少幻觉
大语言模型 (LLMs) 缺乏可靠性是其实际部署的一个主要障碍。本研究探讨了在问答领域中,通过不确定性度量的不确定度来弃权的可行性和有效性,并使用具有和不具有人类反馈的强化学习(RLHF)的模型和这些不确定度度量,证明通过适当的不确定度度量 - 语言模型中的不确定性:通过排名校准进行评估
开发了一种名为 “Rank-Calibration” 的新颖实用框架,用于评估语言模型的不确定性和置信度,通过量化与生成质量的关系偏差的方式,消除了二进制阈值化的需求,并在实证验证中展示了方法的广泛适用性和细粒度可解释性。
- 具有分解高斯近似的变分推断的差异排序
用变分推断方法(VI)在高斯分布的近似中分析不同的散度选择如何影响估计不确定性的测量时,发现了它们的排序方式,并得出了不同散度会导致正确估计哪种测量的结论。
- 离线多任务转移强化学习与表示惩罚
我们研究了离线强化学习中的表示转移问题,提出了一种算法来计算学习表示的点态不确定性度量,并通过扩展数据的数据依赖上界证明了针对目标任务的学习策略的次优性。我们的算法利用源任务的集体探索来解决现有离线算法在一些点上覆盖不足的问题,并在需要完全 - 基于风险分解的严格适当评分规则的预测不确定性量化
区分预测不确定性的来源对于在各个领域中应用预测模型至关重要。本研究提出了一个基于统计推理的通用框架,不仅可以创建新的不确定性度量,还可以澄清它们之间的关系。我们的方法利用统计风险区分了随机不确定性和认知不确定性,并利用适当的得分规则进行量化 - 随机集合推理:未来的计划
未来对于随机集合和置信函数理论的研究有以下的主要领域:完善统计推理理论,包括逻辑回归和经典概率定律的推广;进一步发展不确定性的几何方法,包括普适随机集合、更广泛的不确定性度量和替代的几何表示方法;将新理论应用于气候变化、机器学习和统计学习等 - 一种核得分的偏差 - 方差 - 协方差分解方法用于生成模型
生成模型的不确定性估计及其提出的内核评分和相关熵的偏差 - 方差 - 协方差分解是一项有前景的研究工作。作者利用生成样本提出了无偏且一致的估计方法,证明了方差和预测内核熵可作为图像、音频和语言生成的不确定性度量。这种不确定性估计方法在问答数 - 神经网络的单次贝叶斯逼近
我们提出了一种快速的基于矩阵传播的近似方法,将神经网络转换成贝叶斯神经网络,实现对预测分布的点估计和不确定性估计,并通过与深度集成技术相结合进一步提高不确定性测量的性能。
- 集成不确定性度量以提高黑盒分类器的安全性
SPROUT 是一种安全封装方法,通过对黑匣子分类器的输入和输出进行不确定性度量,检测分类错误并阻止其输出对整个系统的影响。SPROUT 能够识别监督分类器中的大部分分类错误,并且在特定情况下能够检测出所有错误分类。
- 基于数据驱动的相对不确定度度量方法用于误分类检测
引入了一种针对机器学习中误分检测的新型数据驱动相对不确定性度量方法,通过学习软预测的分布模式,可以根据预测的类别概率识别误分样本,并在多个图像分类任务中表现出超过现有误分检测方法的实证效果。
- BART 简化版本混合时间下界
本文提出了 BART 的简化版本,并证明了 BART 的混合时间与数据点数量之间的联系。我们还表明 BART 使用的样本量需要随数据点数量增加而增加。
- EMNLP神经信念追踪中的不确定性度量及其对对话策略表现的影响
探究利用不同的不确定性度量方法,将其纳入到神经对话系统的信念追踪中,以提高对话策略性能和鲁棒性。
- EMNLP多语言和多域神经机器翻译训练的不确定性平衡
本文介绍了一种能够动态调整训练数据使用的方法 MultiUAT,用于多语料机器翻译,通过信任的干净数据确定模型的不确定性,实现数据平衡,经过实验证明,MultiUAT 在多语言和多领域环境下都比现有方法表现更好。
- KDD用于工业工具磨损分析的基于不确定性的人机交互系统
本文研究在人机交互系统中,通过基于蒙特卡罗 dropout 的不确定性测量来提高透明度和性能,以解决卷积神经网络在图像分割任务中存在的置信度不足和监管政策不一致性的问题,通过多元线性回归来解释预测质量。
- ICML单次 MC Dropout 近似
该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间,同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证,该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。
- AAAI分布式稳健的反事实风险最小化
本文介绍了使用分布式鲁棒优化 (DRO) 解决交叉事实风险最小化 (CRM) 问题的想法,并证明了 DRO 是对策反决策的一种有原则的工具。我们提出了使用 Kullback-Leibler 马氏距离作为 CRM 中不确定性的代替方法,并基于 - 对抗环境下模型不确定性的局限性
研究机器学习模型中的对抗样本和贝叶斯神经网络的不确定性测量,并发现置信度和不确定性可能是无可疑的,即使输出是错误的;同时,对大多数任务,我们在影响不确定性和置信度方面发现微妙的差异。
- NIPS已知未知:贝叶斯神经网络中的不确定质量
本文提出一种使用异常检测评估神经网络中不确定性质量的方法,通过从候选模型的预测中提取不确定性度量,将这些度量作为异常检测器的特征,并评估检测器区分已知类别和未知类别的能力。在 MNIST 和 CIFAR10 数据集上实验,比较了最大似然、贝