AAAIDec, 2020

变分贝叶斯推理与最大不确定性正则化的半监督学习

PDF
TL;DR本文提出了两种半监督学习的方法，第一种是将权重扰动方法（WP）应用到现有的一致性正则化（CR）方法中，第二种方法提出了一种新的一致性损失函数叫做 “最大不确定性正则化”（MUR），实验结果表明，将 VBI 或 MUR 或两种方法结合使用可以明显提高各种 CR 方法的分类误差。
semi-supervised learningweight perturbationconsistency regularizationmaximum uncertainty regularizationvariational bayesian inference
发现论文，激发创造
  • 通过不确定性量化来辅助半监督学习

    本文提出了一种基于不确定性感知的新型无监督目标函数，结合最近 SSL 技术，在保证计算效率的同时，在基准数据集中表现优于或与现有最先进技术水平相当，尤其在复杂数据集如 CIFAR-100 和 Mini-ImageNet 上表现最好。

    Jul, 2022

  • 自适应正则化的基于不确定性的永续学习

    本文介绍了一种新的基于神经网络的连续学习算法 UCL，该算法通过引入新的 Kullback-Leibler 散度项解决了正则化方法的两个主要问题，并在监督学习任务和强化学习任务中表现出超过最新技术的优异性能。

    May, 2019

  • Adam 中的权重扰动快速可扩展的贝叶斯深度学习

    本文提出了新的自然梯度算法来降低高斯平均场变分推断的实现难度，借助 Adam 优化器在梯度计算期间扰动网络权重，通过使用适应学习率的向量可以快速获得不确定性估计值。实验结果表明，我们的方法可以获得与现有变分推断相当的不确定性估计，并表明我们算法中的权重扰动可以用于强化学习和随机优化中的探索。

    Jun, 2018

  • 基于贝叶斯神经网络的不确定性一致性半监督深度回归和变分模型集成

    本文提出了一种新的半监督回归方法，即不确定性一致变分模型集成（UCVME），通过生成高质量的伪标签和不确定性估计来改善训练，并且引入一种新的变分模型集成方法来减少预测噪声和生成更稳健的伪标签。实验结果表明，我们的方法在不同任务上优于现有的替代方法，并且可以与使用完全标签的监督方法竞争。

    Feb, 2023

  • 神经网络中的权重不确定性

    提出了一种新的、高效的、基于 Backprop 的方法 Bayes by Backprop，用于在神经网络的权重上学习概率分布，通过最小化压缩成本（即变分自由能或边缘似然的预期下界）来规范权重。该方法在 MNIST 分类的任务上表现出与 dropout 相当的性能。在非线性回归问题中，学到的权重的不确定性可以用来提高泛化能力，并且可以用来驱动在强化学习中的探索和开发之间的平衡。

    May, 2015

  • 元综合正则化的自监督表示学习

    自我监督学习是通过利用数据增强策略产生相似表示来捕捉多个样本的共享信息，进而学习包含更加全面特征的模型方法。我们提出了一个称为 CompMod with Meta Comprehensive Regularization 的模块，通过双层优化机制来更新模型，使其能够捕捉到更全面的特征。此外，我们还从信息理论和因果反事实的角度为我们提出的方法提供了理论支持。实验证明，我们的方法在多个基准数据集上在分类、目标检测和实例分割任务中取得了显著的改进。

    Mar, 2024

  • 一种使用正则化的置信度预测的不确定性感知伪标签选择框架

    该研究提出了一种基于不确定性感知的伪标签选择框架，利用符合规范化算法产生的不确定性集合，修复了拟合不当的神经网络，从而减少嘈杂的训练数据。

    Aug, 2023

  • 基于分布鲁棒优化的半监督学习

    提出了一种基于数据驱动的分布式鲁棒优化和最优运输度量的半监督学习方法，通过使用未标记的数据来限制最坏情况分布的支持，从而提高一般化误差，并证明该方法能够改善一般化误差，具有重要的大样本行为，特别是在半监督学习中降维的作用。

    Feb, 2017

  • 无标签数据有多种一致的解释：为什么您应该平均

    研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

    Jun, 2018

  • 关于伪标签的辩护：一种基于不确定性的半监督学习伪标签选择框架

    本文提出一种基于不确定性的假标签选择框架，通过减少训练过程中的噪音来提高假标签的准确性，并可以生成负假标签用于多标签分类和负学习，相比于最近的半监督学习方法在 CIFAR-10、CIFAR-100、UCF-101 和 Pascal VOC 数据集上获得了很好的性能。

    Jan, 2021