Nov, 2023

训练集之外：一种检测模型优化中分布偏移的直观方法

PDF
TL;DR通过训练二元分类器，我们提出了一种简单的方法来检测分布的变化，从而解决了在模型设计过程中的分布偏移问题，并通过验证其在实际应用中的有效性，证实了此方法可以提高设计的质量。
model-based optimizationdistribution shiftbinary classifierdesign qualityoptimization algorithm
发现论文，激发创造
  • 分布鲁棒贝叶斯优化

    本文通过使用最大平均偏差（MMD）来度量分布转移，研究了分布鲁棒优化的问题，在零阶、有噪音的优化设置下，提出了一种新颖的分布鲁棒贝叶斯优化算法（DRBO）。实验证明我们的算法在多个设置下能够获得次线性的稳健后悔的实现。

    Feb, 2020

  • 基底混合对可解释连续学习中的分布转移问题

    本文探讨了在数据分布和任务不断变化的情况下，通过一种半监督在线学习和自适应模型选择的方法来解决多任务连续学习问题。实验结果表明，在多个数据领域上，该方法的预测效果优于现有的方法，同时也证明了任务的潜在表示会随着任务边界的变化而改变。

    Jan, 2022

  • 通过分布式鲁棒性优化应对标签漂移

    本论文提出了一种基于分布鲁棒优化的模型，通过设计并分析梯度下降 - 近端镜像上升算法，用一次训练获得一个对多种标签偏移都具有稳健性的单一分类器，并在 CIFAR-100 和 ImageNet 上的实验中展示出其显著的性能提高。

    Oct, 2020

  • 双质量学习：处理封闭集分布转变的算法设计框架

    用弱监督数据和数据集变化训练机器学习模型仍然具有挑战性。在这两种情况下设计算法的探索尚不多见，并且现有算法不能始终处理最复杂的分布变化。我们认为，双质数据设置是设计这类算法的合适框架。我们提出了两种方法，一种受到标签噪声文献的启发，另一种受到协变量变换文献的启发，用于双质学习。我们在许多真实数据集上使用两种新方法对概念漂移和类条件变化进行了合成，并开展了一些讨论，评估双质学习算法在分布变化下的鲁棒性仍然是未来研究的一个有趣问题。

    Aug, 2023

  • 用于外部分布预测的分布偏移反演模型

    该论文探讨了如何绕过测试分布的要求以训练分布转换器，并在多领域和单一领域的广义数据集上进行了实验。他们提出了一种便携式的分布漂移反演算法，通过线性组合附加高斯噪声并使用仅在源分布上进行训练的扩散模型将 OoD 测试样本转移到训练分布中。

    Jun, 2023

  • 有效离线基于模型优化的保守目标模型

    本文旨在解决基于数据驱动的基于模型优化 (MBO) 问题，提出了一种名为保守目标模型 (COMs) 的方法，该方法使用对无法分布的输入提供目标函数的下界的模型进行优化， 结构上，COMs 类似于用于克服对抗性示例的对抗性训练方法，并在广泛的 MBO 问题上优于许多现有方法。

    Jul, 2021

  • 离线基于模型优化的设计编辑

    离线基于模型的优化（MBO）旨在最大化黑箱目标函数，仅使用设计和分数的离线数据集。我们引入一种名为离线模型优化设计编辑（DEMO）的新方法，通过在离线数据集上应用训练好的代理模型的梯度上升来产生一个合成数据集，用于训练条件扩散模型以生成高分设计，并通过直接将离线数据集中的高分特征加入到设计生成过程中进行了改进。实证评估表明，DEMO 在 7 个离线 MBO 任务中优于各种基准方法。

    May, 2024

  • 先验转移下的分布鲁棒事后分类器

    训练模型以适应由类先验或群组先验的分布变化引起的偏移问题并不容易，我们提出一种极其轻量级的事后方法，通过在验证集上求解约束优化问题并应用于模型，从而在测试时尽量减小选定目标分布周围的分布鲁棒性损失，并带有可证明的保证和实证的结果证明，表明我们的方法非常适用于分布鲁棒的事后分类器。

    Sep, 2023

  • 公正中心技术简报：分布偏移的定义和检测

    在机器学习任务中，分布偏移是一种常见情况，其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移，关注标准预测问题，即学习一个以输入序列为输入（预测变量）X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。

    May, 2024

  • 学习加权表示以实现跨设计通用化

    提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

    Feb, 2018