Oct, 2023

贝叶斯元学习中逻辑 - softmax 似然函数的再审视 —— 针对少样本分类的研究

PDF
TL;DR通过重新设计逻辑 - softmax 似然函数，控制先验置信水平，将数据增强技术应用于深度核心基于高斯过程的元学习框架，实现了良好校准的不确定性估计，并在标准基准数据集上取得了可比较或优秀的结果。
meta-learningfew-shot classificationlogistic-softmax likelihooduncertainty estimationdeep kernel based gaussian process
发现论文，激发创造
  • 逻辑变分贝叶斯重新讨论

    本文提出了一种新的边界方法用于估计软加函数期望，并展示了它如何应用于变分逻辑回归和高斯过程分类。与其他边界方法不同，我们的方法不需要扩展变分族或引入额外的参数来确保边界的紧致性。实验证明，这个边界方法比现有方法更紧致，而且计算速度显著更快，从而获得了最先进的变分后验性能。

    Jun, 2024

  • 一对多 Pólya-Gamma 增强高斯过程的 Bayesian 少样本分类

    本文提出了一种基于高斯过程分类器、Polya-Gamma augmentation 和 one-vs-each softmax 近似的方法来解决 few-shot classification 中存储和速度问题，获得了更好的准确性和不确定性量化效果。

    Jul, 2020

  • 具有贝叶斯深度神经网络的分类快速预测不确定性

    本文提出了使用 Dirichlet 近似来构建分类神经网络输出的分布，该近似比先构建权重的 Gaussian 分布再进行采样来得更省时，同时有利于计算不确定性和大规模数据集的应用，例如 ImageNet。

    Mar, 2020

  • 文本分类中的 Softmax 不确定性逼近再探讨

    本文深入分析了 Monte Carlo Dropout 方法和 softmax 方法的应用，发现虽然前者可以提供更好的不确定性估计，但后者可以在更低的计算成本下提供竞争力的不确定性估计，并且适合不具备大量计算资源的模型。

    Oct, 2022

  • 谈论分类概率的贝叶斯方法

    提出一种使用贝叶斯方法中的随机变量作为分类任务中的 softmax 的替代品，以更好地估计不确定性和模型校准，并在多种挑战性任务中提供了一致的泛化性能提高。

    Feb, 2020

  • 可扩展概率估计的一对多 Softmax 逼近

    介绍了一种对 softmax 概率的有效逼近方法，该方法基于一种严格的下界概率，可通过随机优化进行可扩展的估计，并演示了其在分类问题中的应用。

    Sep, 2016

  • 通过后续逻辑归一化和温度缩放改善深度神经网络的选择分类表现

    本文介绍了一种简单高效的后验置信度估计器 - $p$-NormSoftmax，它可以大幅提高预训练模型的选择性分类性能，并在实验中证明了此方法的有效性。

    May, 2023

  • 使用数据增强的改进贝叶斯逻辑回归监督主题模型

    本文介绍使用正则化常量和 Gibbs 采样算法的辅助泊松 - 伽马变量，增强 PF 主题模型的性能。实证结果表明，该算法可以显著提高预测性能和时间效率

    Oct, 2013

  • 深度神经网络中用于逻辑斯谛回归和 Softmax 回归的损失函数学习性质

    本研究分析了通过逻辑回归和 softmax 损失训练的深度卷积神经网络，证明了经 class-wise 重新加权的损失函数可以帮助解决类别不平衡问题，提高了二分类。我们还提出了一种新的重新加权的逻辑回归损失函数用于解决多类别分类问题，特别是一对多方法中的负类别问题，有望成为与 softmax 损失函数相竞争的有效方法。

    Mar, 2020

  • 基于调整逻辑回归的 Softmax 的在线持续学习

    我们提出了一种在线持续学习的方法，在训练过程中通过调整模型的 logits 来抵抗类别先验偏差并追求贝叶斯最优分类器，从而有效缓解了类间不平衡对模型性能的影响。

    Nov, 2023