增广和缩减:针对大规模分类分布的随机推理
使用 ARSM 梯度估算器通过加强 - REINFORCE - 交换 - 合并技术解决了通过分类变量进行反向传播的挑战,具有无偏差和低方差的特点。该方法使用 Dirichlet 分布的期望来重新表达梯度,并使用变量交换和共享随机数来获得显著的方差减少,并为离散动作的策略梯度提供 “尝试和自我评论” 的方差减少方法。
May, 2019
本研究表明,显式地考虑 aleatoric uncertainty 可显著改善贝叶斯神经网络的性能,其中使用 Dirichlet observation model 可以匹配或超过 posterior tempering 的性能,无需 tempering。
Mar, 2022
本文提出了一种新颖的基于推理的隐性语义数据增广方法来缓解长尾分布数据分类算法性能下降的问题,并通过构建协方差矩阵和知识图谱,从相似类别中采样新方向来生成新的样本实例,从而适应性增强长尾数据,实验证明该方法有效。
Dec, 2021
本文提出了一种名为 LatentAugment 的数据增强方法,通过动态优化输入和模型参数的增强策略来提高图像分类任务的测试精度,理论分析表明该方法是一种通用模型且相比现有数据增强方法更为简单高效,实验结果也验证了其在 CIFAR-10,CIFAR-100,SVHN 和 ImageNet 数据集上具有更高的测试精度。
May, 2023
提出了一种新的 Transformed Risk Minimization (TRM) 方法,该方法通过学习数据增强变换的分布来解决机器学习中的数据分布结构适应问题;并且通过一种新的参数化组合块的方法,利用 PAC-Bayes upper bound 优化数据增强空格,在 CIFAR10/100、SVHN 等数据集上使用 Stochastic Compositional Augmentation Learning (SCALE) 算法进行实验,提高了学习模型的校准性能。
Nov, 2021
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
Dec, 2013
本文介绍使用正则化常量和 Gibbs 采样算法的辅助泊松 - 伽马变量,增强 PF 主题模型的性能。实证结果表明,该算法可以显著提高预测性能和时间效率
Oct, 2013
研究表明,生成数据增强应用于特定学习任务时,如(半)监督学习,少样本学习和敌对鲁棒学习等,可以提高分类性能。本文深入研究了生成数据增强在非独立同分布设置中的表现,证明了其学习速度可以更快,而且在训练集较小的情况下可以提高学习保证级别。
May, 2023
本论文介绍了一种新的 Gumbel-Softmax 梯度估计器,用于处理类别离散型变量,能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务,并且可以通过渐进式的方式向分类型分布过渡。
Nov, 2016
提出了一种基于贝叶斯公式,利用广义蒙特卡洛期望最大化算法和生成对抗网络的方法,能更好地生成新的标注训练样本,并在 MNIST,CIFAR-10 和 CIFAR-100 的数据集中取得了优于现有数据增强方法和 GAN 模型的分类结果。
Oct, 2017