ICLRMar, 2020

关于在潜空间中定义邻近分布的好处

PDF
TL;DR本文提出了一种在生成模型的潜在空间中定义 vicinal 分布的方法，称为 VarMixup，并在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上进行了实证研究，结果表明使用 VAE 学习的潜在流形执行 mixup 训练的模型对于各种输入扰动 / 干扰更具鲁棒性，校准性更好，并呈现出更多局部线性的损失函数。
vicinal risk minimizationmixup traininggenerative modelsinput perturbationslatent manifold
发现论文，激发创造
  • 邻域风险最小化原则的概括界限

    本文研究了 vicinal risk minimization (VRM) 的泛化界限，结论表明 vicinity function 的选择对 VRM 的性能有影响，同时提供了控制 vicinity function 的复杂度的条件，这对于确定 VRM-based learning 的合适的 vicinity function 选取提供了新的理论支持。

    Nov, 2018

  • 无监督域自适应的虚拟混合训练

    本文提出一种叫做 Virtual Mixup Training 的新方法，该方法可以将局部 Lipschitz 约束性应用到训练数据间距的区域中，不需要使用标签信息，适用于无监督域自适应。结果表明，VMT 显著提高了 VADA 在六个领域适应基准数据集上的性能，尤其是将 MNIST 适应到 SVHN 的挑战性任务中，VMT 可以将 VADA 的准确性提高 30% 以上。

    May, 2019

  • 重新审视邻近风险最小化在数据稀缺条件下进行部分监督多标签分类

    本文提出了一种基于部分标注医疗图像的多标签分类的解决方案，采用邻域风险最小化方法，能够改善模型的泛化能力并提供关于未来研究方向的见解。

    Apr, 2022

  • 评估模型在附近的普遍性

    该论文评估了分类模型在无需依赖于标签的情况下对于分布外测试集的泛化能力，并提出了一种名为 vicinal risk proxy (VRP) 的方法来计算模型的准确性，该方法通过综合考虑邻近样本的响应来评估每个样本的正确性，从而在方法学和实验上稳定地提高了现有泛化指标与模型准确性的相关性，特别是在具有挑战性的分布外测试集上。

    Jun, 2024

  • mixup：超越经验风险最小化

    这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

    Oct, 2017

  • 潜变量建模与多样性诱导互角正则化

    通过提出一种互相角度正则化的方法，可以训练出具有多样性，低冗余，更好的解释性的潜在变量模型，并有效地捕捉长尾模式并减少模型复杂度。

    Dec, 2015

  • 不变风险最小化是总变差模型

    基于总变差和 L2 范数的不变风险最小化方法被验证为一种数学本质，同时基于 TV-l1 模型的 IRM 框架在去噪和不变特征保留方面具有鲁棒性，并满足一些要求以实现超出分布的泛化能力。实验证明，该框架在多个基准机器学习场景中取得了竞争性能。

    May, 2024

  • 利用中点混合在多视角数据中可以实现可证明学习多样性特征

    该论文介绍了 Mixup 数据增强技术在图像分类方面的应用，从特征学习的角度解释了其成功的原因，并提供了实验证据支持其理论分析，证明其在处理具备多种特征的分类问题时效果良好。

    Oct, 2022

  • 通过对扰动样本进行对抗标记的鲁棒性正则化

    本文提出了一种称为 ALPS 的正则化方案，通过向每个真实输入样本添加扰动样本并给予对抗性标签来训练神经网络，以提高其泛化能力和对抗鲁棒性，实验表明 ALPS 具有先进的正则化性能和有效的对抗性训练。

    May, 2021

  • 稳定变分自编码器中的球形潜在空间

    采用 von Mises-Fisher 分布作为先验和后验分布，避免了 KL 坍塌现象，其在语言模型和文档模型等模型条件下具有更好的似然性和更丰富的潜在表示结构。

    Aug, 2018