Nov, 2021

使用变形风险最小化学习增强分布

PDF
TL;DR提出了一种新的 Transformed Risk Minimization (TRM) 方法，该方法通过学习数据增强变换的分布来解决机器学习中的数据分布结构适应问题；并且通过一种新的参数化组合块的方法，利用 PAC-Bayes upper bound 优化数据增强空格，在 CIFAR10/100、SVHN 等数据集上使用 Stochastic Compositional Augmentation Learning (SCALE) 算法进行实验，提高了学习模型的校准性能。
发现论文，激发创造
  • 不变风险最小化的一致性推断

    发展了一种方法来获得无分布预测区域，以描述不同环境下数据的分布差异，应用于机器学习中的无变异风险最小化（IRM）模型，基于加权遵从得分构造自适应遵从区间，并证明其条件平均值在某些条件下，通过模拟实验和实际案例的应用证明方法的有效性。

    May, 2023

  • 学习变换以实现个体无关性的普适性

    基于数据的学习预测变换分布以及通过对样本对齐实现对不同类别的普遍不变性和适应不同姿态，从而提高计算机视觉中的准确性和鲁棒性。

    Sep, 2023

  • 不变风险最小化

    介绍了不变风险最小化 (IRM) 的学习模式，通过学习数据表示来估计多个训练分布之间的不变关系，从而实现在所有训练分布上匹配最优分类器，通过理论和实验表明，IRM 学习到的不变性与控制数据的因果结构相关，并能够实现分布外概括。

    Jul, 2019

  • 基于类别的微分同胚数据分布学习增强数据

    该研究提出了一种使用概率生成模型的方法，通过对图像进行变换来生成新的观测值，以取代手动指定数据增强的方法，以提高深度神经网络的训练性能。

    Oct, 2015

  • 异构风险最小化

    提出了异质风险最小化 (HRM) 框架来实现数据的异质性联合学习和不变关系， 实现了稳定的预测，从而解决了许多不变学习方法无法应用的问题。

    May, 2021

  • 费米博士：一种随机分布鲁棒公平经验风险最小化框架

    提出了首个具有收敛保证的随机分布鲁棒公平性框架，不需要对因果图的了解，在分布转移的环境中将公平推断制定为 $L_p$ 范数不确定性集合下的分布鲁棒优化问题。

    Sep, 2023

  • 具有自动转换搜索的隐私保护协作学习

    本论文提出了一种基于数据增强的解决方案，以防止敌对方从共享的梯度中恢复训练数据，文中使用创新的搜索方法发现数据增强策略，并使用两个新的度量指标来评估策略的影响，实验结果表明该方法能够高效地击败现有的重建攻击，对模型性能影响微不足道。

    Nov, 2020

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • 核化异构风险最小化

    本文介绍了一种基于核化的异构风险最小化算法，实现了潜在特性探索和不变学习，并通过指定不变梯度方向向原始神经网络传递反馈。我们从理论和实践两方面证明了我们的算法的有效性。

    Oct, 2021

  • 具有稳定对抗训练的分布鲁棒学习

    本文提出了一种新的稳定对抗学习（SAL）算法，该算法利用异质数据源构建了更实用的不确定性集，并根据协变量与目标的稳定性进行差异化的鲁棒性优化，理论上表明我们的方法适用于随机梯度下降优化，并为我们的方法提供了性能保证。在模拟和实际数据集上的实证研究验证了我们的方法在未知分布转移方面的均匀优秀性能。

    Jun, 2021