ICMLJan, 2022

通过选择性增强提高对抗样本的鲁棒性

PDF
TL;DR探讨了在实际应用中常见的基于配分转移的问题，提出了一种选择性增广的简单混合技术 LISA，通过学习不受限制的内部表示或预测器来学习不变的预测器，并在包括亚种人群转移和领域转移的九个基准测试中验证了 LISA 的有效性。
distribution shiftsubpopulation shiftsdomain shiftsinvariant predictorslisa
发现论文，激发创造
  • 机器学习模型在实际中的稳健性、评估与适应性

    通过培训算法来提高对于机器学习领域的可靠性，从而应对领域的变化，提高算法的性能，预测其表现并轻量级适应应用领域。

    Mar, 2023

  • 通过域不变表示估计分布转移下的泛化能力

    本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。

    Jul, 2020

  • 自适应风险最小化：学习适应领域转移

    本文探讨了在机器学习系统被分布转移影响时，如何通过自适应风险最小化方法 (ARM) 以提高对新领域和分布的分类准确率，在多个图像分类问题中，与其他鲁棒性、不变性和适应性方法相比，ARM 方法提高了 1-4％的测试准确率。

    Jul, 2020

  • 基于类别相关领域漂移的鲁棒分类

    这篇论文探讨了一种特殊的数据集漂移，称为类依赖性领域漂移，提出了使用神经网络解决有信息论约束的优化问题的方法，并在玩具数据集上进行实验，证明了该方法能够学习到健壮分类器并能够推广到未知领域。

    Jul, 2020

  • 预训练语言模型在测试时解决分布转移问题

    本研究提出了一种使用未标记数据的自适应方法 (MEMO-CL)，利用最新的无监督技术来最小化在测试时由于分布变化导致的测试性能下降问题，通过对单个测试样本中的一批增强样本进行处理，实现了无监督、领域不可知、容易实施且无需额外数据的自适应技术，相对当前测试时适应基线所取得的进展为 3%。

    Dec, 2022

  • 通过分布式鲁棒性优化应对标签漂移

    本论文提出了一种基于分布鲁棒优化的模型，通过设计并分析梯度下降 - 近端镜像上升算法，用一次训练获得一个对多种标签偏移都具有稳健性的单一分类器，并在 CIFAR-100 和 ImageNet 上的实验中展示出其显著的性能提高。

    Oct, 2020

  • 跨模态去偏倚：利用语言减轻图像中的亚种群转变

    本文通过利用多模态基础模型中的分布鲁棒性，通过参数微调来提高分布鲁棒性，并利用自然语言输入来消除图像特征中的偏见，从而在子群落变化下改善最坏情况性能。大量实证研究表明，通过自然语言进行去偏倚的图像表示能够显著提高性能，并降低在子群体变化下的性能不稳定性。

    Feb, 2024

  • 学习加权表示以实现跨设计通用化

    提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

    Feb, 2018

  • ELSA: 通过半参数模型视角实现有效标签偏移适应

    本文探讨如何解决标签偏移的域自适应问题，提出了基于影响函数几何的时刻匹配框架，讨论了一种名为 ELSA 的解决方案，并通过大量实验证明该方法在无需繁琐的后验校准的情况下，能达到与最先进方法一样的性能并获得计算效率的提升。

    May, 2023

  • 标签偏移下的领域自适应正则化学习

    提出了一种基于正则化的学习算法 Regularized Learning under Label shifts (RLLS)，该算法能够校正源域和目标域之间标签分布的转移，通过估计带权重的源目标数据并训练分类器，并以此推导出分类器在目标域的泛化边界，提出了一种小样本区间和大转移区间下考虑权重估计的正则估计器，实验证明，相比现有方法，RLLS 能够提高分类准确率，特别是在低样本和大转移区间。

    Mar, 2019