Jul, 2023

最小误差熵准则的鲁棒性再探：一项迁移学习案例研究

PDF
TL;DR本文旨在探讨最小误差熵准则 (MEE) 在非高斯噪声情况下的鲁棒性，并将其运用在实际的迁移学习回归任务中，结果表明仅通过将 MSE 损失替换为 MEE，我们就能够在 fine-tuning 和线性探测等基本的迁移学习算法上取得与最先进的算法竞争性的表现。
transfer learningdistributional shiftsminimum error entropyregression taskscovariate shift
发现论文，激发创造
  • 最小误差熵准则的学习理论方法

    研究了最小误差熵准则和经验风险最小化算法在回归设置中的应用，提出了一种学习理论方法，并在 MEE 缩放参数较大的情况下提供了显式误差界，在泛化误差方面进行了新颖的渐近分析，并介绍了半范数和涉及的对称最小二乘误差，与一些排名算法有关。

    Aug, 2012

  • 分布偏移下近似最优线性回归

    探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下，开发了具有最小值线性风险的估计量的转移学习算法，包括协变量转移和模型转移，同时也考虑了数据来自线性或一般非线性模型的情况，证明了线性最小值估计器与各种源／目标分布的非线性估计器相比的绝对误差是一个常量。

    Jun, 2021

  • 检测和应对分布偏移下的伪特征

    本文主要探讨机器学习中机器如何学习到能够捕捉输入特征与输出标签之间因果关系的鲁棒性表征，以及在有偏或有限数据集上可能存在的虚假相关性。提出了一种基于最小充分统计量的鲁棒表征和虚假表征的信息理论概念，并基于分组分布式鲁棒优化方法来缓解输入分布偏移的问题，同时通过实验展示该方法在图像和语言任务中具有显著的鲁棒性优势。

    Jun, 2021

  • 数据分布转移时，使用自学习

    本文针对系统域转移下的计算机视觉模型，提出了熵最小化和伪标记等自学习技术的应用，通过大量实验展示了显著的改进效果和实用性。同时，本文还提出了一个新的分类数据集 ImageNet-D，对于自适应算法来说具有一定的挑战性。

    Apr, 2021

  • REALM：强健的熵自适应损失最小化，为改进单样本测试时间自适应提供支持

    提出了一种名为 Robust Entropy Adaptive Loss Minimization (REALM) 的方法，通过改进 F-TTA 中的噪声样本问题，提高了自适应过程的准确性。

    Sep, 2023

  • 通过置信度最大化和输入变换对分布偏移进行测试时间适应

    该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

    Jun, 2021

  • 量化分布漂移和不确定性，提升机器学习应用的模型鲁棒性

    使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

    May, 2024

  • 通过极小化最大熵进行半监督域自适应

    提出了一种基于 Minimax Entropy 的半监督域自适应方法，在有限的标记信息下，与其他基线方法相比，提高了无标记目标数据分类的准确性。

    Apr, 2019

  • 应用于强化学习的纠正误指的回归中减轻协变量变化

    在机器学习应用中普遍存在分布偏移现象，本文研究在模型错误规定和对抗性协变量偏移存在的情况下的分布偏移影响，提出一种新的算法，通过鲁棒优化技术避免了错误规定放大，同时获得最佳的统计指标，应用于离线和在线强化学习。

    Jan, 2024

  • 回归任务的简单可迁移性估计

    我们提出了两种简单且计算高效的方法，基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性，在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。

    Dec, 2023