ICCVOct, 2019

核化对抗表示学习的全局最优解

PDF
TL;DR通过对非凸和非可微最优化问题的研究和核表示方法，我们提供了一种通过谱学习实现数据的不变性、得出全局最优解的解决方案，并在 UCI、Extended Yale B 和 CIFAR-100 数据集上进行了实验验证，得出我们的解决方案能够实现与现有神经网络解决方案迭代最小化相当的效果。
adversarial representation learninginvariancespectral learningoptimizationneural network
发现论文，激发创造
  • 通过对抗特征学习实现可控的不变性

    本文提出了一种通过对抗学习策略学习能够抵抗特定数据因素影响的新型表示学习方法，并通过多个基准测试表明所提出的方法可以获取到不变表示，从而提高模型的泛化能力。

    May, 2017

  • 用对手模型压制表示

    采用对抗生成网络的方法，学习灵活的、去除敏感信息的表示，以减少歧视和保护隐私，解决在机器学习应用中存在的限制问题。

    Nov, 2015

  • 无需对抗训练的不变表征

    无需对抗训练，使用信息论优化能够直接获得可控转换的公平表示和生成建模的最新性能

    May, 2018

  • 一种用于预测任务类别的表示学习游戏

    提出了一种基于游戏的形式，用于学习降维表示特征向量，在只有未来预测任务的先验知识可用的情况下。最小化在表示中使用相同损失与使用原始特征的损失之间的预测损失，以展示先验知识的有效性。

    Mar, 2024

  • 通过 Rényi 最小化学习无偏表示

    本文提出了一种通过 Hirschfeld-Gebelein-Renyi (HGR) 最大相关系数生成不带偏见表示的对抗性算法，从而实现了在机器学习算法的训练目标中包含公平性约束。

    Sep, 2020

  • 对抗稳健性作为学习表示的先验

    本研究表明，鲁棒优化可以被重新定义为对深度神经网络学习特征的先验约束，经过鲁棒模型学习的特征表示方法能够解决标准神经网络表示方法的缺陷，并显著提高了高水平的输入编码能力。同时，这些特征表示方法具有相对可逆性，允许直接可视化和操纵输入的显著特征，提示使用对抗性鲁棒性来改善学习表示方法的可行性。

    Jun, 2019

  • 基于不变式学习的对抗训练域不变表示的表示方法

    本文研究使用先前为学习 “公平表示” 而开发的审查技术来解决域泛化问题。我们研究了 $k$ 个域的对抗性损失函数及其渐近行为，并在此基础上获得了算法在以前未见过的域上良好最坏情况预测性能的充分条件。我们提供了完整的不变性特征描述，并为敌对不变域泛化提供了第一个形式化保证。

    Jun, 2020

  • 关于具有有限样本复杂度保证的对抗学习的鲁棒优化

    通过受支持向量机（SVM）边界启发，本文提出了一种新的对抗训练方法来提高鲁棒分类器对线性和非线性分类问题中不确定性的处理能力。我们通过数据驱动的视角来解释鲁棒性，并推导了二元和多类情景下线性和非线性分类器的有限样本复杂度界限。我们的算法通过线性规划（LP）和二阶锥规划（SOCP）来最小化最坏情况下的代理损失函数，适用于线性和非线性模型。在 MNIST 和 CIFAR10 基准数据集上的数值实验显示，我们的方法与最先进的方法相比具有可比性能，在训练过程中不需要对抗性示例。我们的工作提供了一个全面的框架，用于增强二元线性和非线性分类器的鲁棒性，在面对对手时保持学习的鲁棒性。

    Mar, 2024

  • 最大熵方法在图像表示中的信息泄漏缓解

    本文探讨了学习最小化图像表示中的信息泄露的问题，并通过对抗性非零和游戏的形式表述该问题，提出了一种新方法。实验结果表明，该方法能够学习高任务性能的图像表示，同时减少了预定义敏感信息的泄露。

    Apr, 2019

  • K-Beam Minimax：深度对抗学习的高效优化

    本文提出了一种新的 epsilon 次梯度下降算法来解决极小极大优化问题中内部最大化解的不连续性，该算法可以同时跟踪 K 个候选解，并且在 K 的复杂度下找到之前鞍点算法无法找到的解，在 GAN 训练和域自适应问题中有着显著的稳定性和收敛速度提升。

    May, 2018