- 文本摘要中不确定性估计方法的性能评估可信吗?
通过引入综合评估标准,研究本文对两个大型语言模型和一个预训练语言模型在三个数据集上进行的不确定性估计能力的评估表明,多个不相关的自然语言生成指标和多样化的不确定性估计方法对于可靠高效地评估 UE-TS 技术至关重要。
- 面向 FPGA 的硬件感知神经网络丢弃搜索用于可靠的不确定性预测
提出了一种新的神经随机丢失搜索框架,旨在自动优化既有基于 dropout 的 Bayesian 神经网络及其硬件 FPGA 实现,实验结果表明该框架能够有效地找到 Pareto 最优设计配置。
- 在 FPGA 上增强基于 Dropout 的贝叶斯神经网络的多出口
本文提出了一个算法和硬件协同设计框架,该框架可以为高效的基于 FPGA 的 Bayesian 神经网络生成加速器,以减少计算和内存负载,并实现更高的能源效率。
- 基于光学相干断层扫描图像的不确定性估计提升基础模型的诊断可靠性
我们使用不确定性估计的基础模型来检测光学相干断层扫描(OCT)上的 11 种视网膜病变,模型在内部测试集上获得了 96.76% 的 F1 得分,在阈值策略下进一步提高至 98.44%;在其他 OCT 设备获取的外部测试集上,模型的准确率为 - 微调隐式函数的不确定建模
利用大规模的无噪声合成数据集作为形状先验来帮助模型填补缺失信息,同时通过引入 Dropsembles 方法进行不确定性估计,我们在神经辐射场、占据网络和符号距离函数等领域进行了一系列实验来验证其有效性,并在低分辨率 MRI 分割中的腰椎案例 - DistPred:一种无分布的概率推理方法用于回归和预测
DistPred 是一种用于回归和预测任务的新方法,通过使用可微分的离散形式的得分规则,可以在单次前向传递中生成大量样本来估计响应变量的潜在分布,并具有比现有方法更简单且更强大的性能和 90 倍的推理速度。
- 不设计,学习:一种可训练的生成式 LLM 不确定性估计评分函数
本研究引入了可学习的响应评分函数(LARS)用于生成式大型语言模型中的不确定性估计(UE)。我们提出了 LARS,它利用监督数据来捕捉令牌和概率之间的复杂依赖关系,从而在计算生成物的不确定性时产生更可靠和校准的响应评分。我们在多个数据集上进 - 矫正迭代视差用于立体匹配
基于成本体积的不确定性估计(UEC)方法利用图像对中的成本体积的丰富相似性信息,以低计算成本实现了竞争性的性能,并且提出了两种不确定性辅助视差估计方法,UDR 和 UDC,优化了迭代方法的视差更新过程,并且通过视差矫正损失显著提高了精度,最 - 深度度量学习驱动的遥感图像检索的标注成本高效主动学习
通过结合度量学习、主动学习以及不确定性估计等方法,提出了一种用于远程感知图像检索的低成本主动学习方法,该方法有效地减少了图像标注的成本,并在两个远程感知基准数据集上取得了显著的实验结果。
- 大型语言模型必须学会自知之明
在高风险应用中使用大型语言模型(LLMs)时,我们需要知道何时可以信赖它们的预测。本研究首先论证了仅仅使用提示是不足以实现良好校准的,然后展示了在一个小数据集上进行精调以创建具有良好概括性和小计算开销的不确定性估计的方法。我们还研究了可靠的 - 基于语言模型的不确定性估计的语义多样化语言生成
大型语言模型可通过引入语义多样性来量化生成过程中的预测不确定性,从而减少虚构性的生成,提高模型可靠性,并在问题回答任务中取得了优于现有方法的结果,同时在计算效率上也有了突破。
- 揭示大型生成网络的光芒:扩散模型中估计认识不确定性
Diffusion Ensembles for Capturing Uncertainty (DECU) is an innovative framework designed to estimate epistemic uncertain - 用 Boltzmann 影响函数衡量随机数据复杂性
用 IF-COMP 方法,通过温度缩放的玻尔兹曼影响函数来线性化模型,从而实现对测试点的可靠性校准和复杂度测量,提供准确的预测、复杂度和误标记检测等功能。
- 关于使用锚定训练视觉模型
通过研究锚定方法作为训练视觉模型的通用协议,揭示了其训练和推断过程对泛化和安全性的影响,同时提出了一种新的锚定训练协议以解决其存在的问题,并在数据集和架构的不同规模和复杂性上进行了实证评估,显示出在泛化和安全性指标方面与标准训练协议相比的显 - ABodyBuilder3: 改良和可扩展的抗体结构预测
基于 ImmuneBuilder,我们介绍了 ABodyBuilder3,一种改进和可扩展的抗体结构预测模型,通过利用语言模型嵌入,实现了 CDR 环的建模中的最新准确性,并展示了通过仔细的松弛策略进一步改进预测结构的方法。最后,我们将预测 - 核心语言熵:基于语义相似性的 LLMs 细粒度不确定性量化
在大型语言模型中,不确定性量化对于关系到安全性和可靠性的应用至关重要。我们提出了 Kernel Language Entropy(KLE),这是一种用于估计白盒和黑盒语言模型中不确定性的新方法,它能够捕捉到模型输出的语义不确定性,并通过 v - 评估贝叶斯深度学习用于射电星系分类
评估不同的贝叶斯神经网络对于无线电星系分类问题的预测性能、不确定性校准和分布漂移检测的表现。
- SEMF: 监督的期望最大化框架用于预测区间
该研究介绍了监督期望最大化框架(SEMF),这是一个多功能且不涉及具体模型的框架,可以为具有完整或缺失数据的数据集生成预测区间。SEMF 将经典的无监督学习中使用的期望最大化(EM)算法扩展到监督环境中,实现了提取不确定性估计的潜在表示。该 - 利用蒙特卡洛任意掩蔽法提高医学图像重建的全局敏感度和不确定性量化
提出了一种使用 MambaMIR 和 MambaMIR-GAN 进行医学图像重建和不确定性估计的方法,通过 Arbitrary-Masked Mamba-based 模型和波尔塔斯转换结合,实现了最佳的重建保真度和感知质量。
- 层次中间预测的过渡不确定性
研究单次通过不确定性估计的特征工程,提出了一种名为 TULIP 的简单方法,通过在后续层折叠信息之前从中间表示中提取特征以实现特征保留,并在标准基准和实际环境中与当前的单次通过方法相匹配或优于其性能。