Oct, 2020

一种用于对比学习中的不确定性的简单框架

PDF
TL;DR该论文介绍了一种基于 “对比分布” 的简单方法，该方法通过训练一个从表示到分布的深度网络，并使用方差来衡量置信度，从而赋予预训练的对比表示学习不确定性的能力。在实验中，作者展示了该深度不确定性模型可用于视觉解释模型行为、检测已部署模型中的新噪声和异常，其中在 11 个任务中，对比 10 种基线方法改进了 14％以上，同样可以用于分类超出分布的示例，其性能可与有监督方法竞争。
发现论文，激发创造
  • 对比学习中的不确定性：下游性能可预测性研究

    本文研究了基于对比学习的深度学习模型的嵌入向量的不确定性评估问题，并提出了一种方法，直接在嵌入空间中估计数据分布并考虑其局部一致性，结果表明该方法可以有效预测嵌入向量的下游性能。

    Jul, 2022

  • 概率对比学习恢复模糊输入的正确 Aleatoric 不确定性

    该研究提出了一种基于分布预测的信息最大化方法，用于比较训练编码器的逆向重建任务，并且可以根据图像检索任务的不确定性估计出可信区间.

    Feb, 2023

  • 基于生成模型的不确定性感知深度分类器

    本篇研究提出了一种神经网络模型，该模型能够同时表达 aleatoric 和 epistemic 不确定性，区分特征空间的决策边界和 “out-of-distribution” 区域。在训练过程中，通过集成变分自编码器和生成对抗网络的方法生成了 “out-of-distribution” 样本。通过在多个数据集上进行实验，表明该方法提供了更好的不确定性估计，并且在识别对抗样本时表现出优异的表现。

    Jun, 2020

  • 迈向一个统一的对比学习框架以实现解耦表征

    通过对多种对比方法的理论分析，本论文扩展了有关数据表达的对比学习的理论保证，并验证了这些发现在多个基准数据集上的实际有效性。

    Nov, 2023

  • 哪些模型天生就擅长不确定性估计？

    探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

    Jun, 2022

  • 贝叶斯神经网络中的图对比学习中的不确定性

    通过引入变分贝叶斯神经网络方法，可以提高半监督节点分类任务的不确定性估计和下游性能，并提出一种新的不确定性度量，基于不同正样本的似然差异。

    Nov, 2023

  • 对比预测编码的表示学习

    本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

    Jul, 2018

  • 使用引导权重的深度学习中的稀疏不确定性表示

    本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

    May, 2021

  • 学习分离的否定和不确定性表示

    通过使用变分自动编码器，监督潜在表示仅然可达到好的结果，然而基于对抗学习和互信息最小化的辅助目标可以提供额外的脱缰效果，以此来将否定，不确定性和内容的表示相分离。

    Apr, 2022

  • 利用证据理论的深度学习进行分类不确定性量化

    通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

    Jun, 2018