Feb, 2024

确定性不确定性量化方法上的判别距离感知表示

PDF
TL;DR该研究介绍了一种名为 Discriminant Distance-Awareness Representation（DDAR）的新颖且高效的确定性不确定性评估方法，通过构建一个在潜在表示中包含一组原型的 DNN 模型来分析输入数据的有价值特征信息，通过松弛限制了决定性不确定性方法（DUMs）架构的利普希茨条件，从而克服了特征坍缩问题，实验结果表明 DDAR 是一种灵活且与架构无关的方法，在多个基准问题上优于现有的不确定性评估方法。
发现论文，激发创造
  • 潜在判别确定性不确定性

    该研究提出了一种可扩展的、有效的决策不确定性方法，通过利用区别最大化层，通过任意大小的可训练原型学习鉴别隐藏空间，以解决深度学习在实际中应用时不确定性预测的问题，该方法在图像分类、分割和单眼深度估计任务上超过了深度集合的现有技术。

    Jul, 2022

  • 语义分割的深度确定性不确定性

    本文提出将 Deep Deterministic Uncertainty 扩展至语义分割领域，其能够量化和分离模型的认识不确定性和随机不确定性，同时提出将 DDU 独立于像素位置进行应用，以此减少内存消耗，最后在 Pascal VOC 2012 数据集上使用 DeepLab-v3+ 神经网络结构能够有效提升模型性能与运算速度。

    Oct, 2021

  • 一种以速率 - 失真为视角的不确定性量化方法

    本论文介绍了一种名为 DAB（Distance Aware Bottleneck）的新方法，用于通过学习一个代码本，丰富深度神经网络的性质，从而提供确定性不确定性评估，达到更好的异常检测和误分类预测结果。

    Jun, 2024

  • 探索深度神经网络中的异常表示

    这篇论文介绍了 DORA（Data-agnOstic Representation Analysis）框架，它利用网络内部的自我解释能力，提出了一种新的距离度量方法，对 DNNs 的表示空间进行了数据无关的分析。通过这个度量方法，可以检测到可能存在风险的异常表示，该方法最终应用于分析并识别了广受欢迎的计算机视觉模型中的人工异常表示。

    Jun, 2022

  • 通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

    SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

    Jun, 2020

  • 使用单个深度确定神经网络进行不确定性估计

    论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

    Mar, 2020

  • 利用确定性不确定性网络和不确定性感知训练改进心脏应用的深度学习模型校准

    通过评估两种方法对深度学习分类模型的影响，即确定性不确定性方法和不确定性感知培训，我们发现这两种方法都可以在心脏成像领域的两个实际临床应用中提高准确性和校准度，其中确定性不确定性方法一般提供最佳改进效果，同时它们的组合也进一步改进了部分确定性不确定性方法和不确定性感知培训方法的组合。

    May, 2024

  • 距离感知简单方法改进单模型深度不确定性

    研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。

    May, 2022

  • DARI: 人物验证的距离度量与表示集成

    本文提出了名为 DARI 的端到端学习框架，其中将距离度量和特征表示融合在一起。通过使用深度卷积神经网络来解决距离不匹配问题，证明了 DARI 在人员验证等方面的有效性，并在多个公共数据集中实现了最佳性能。

    Apr, 2016

  • 一种用于对比学习中的不确定性的简单框架

    该论文介绍了一种基于 “对比分布” 的简单方法，该方法通过训练一个从表示到分布的深度网络，并使用方差来衡量置信度，从而赋予预训练的对比表示学习不确定性的能力。在实验中，作者展示了该深度不确定性模型可用于视觉解释模型行为、检测已部署模型中的新噪声和异常，其中在 11 个任务中，对比 10 种基线方法改进了 14％以上，同样可以用于分类超出分布的示例，其性能可与有监督方法竞争。

    Oct, 2020