Jun, 2021

不变信息瓶颈用于域泛化

HTML
PDF
TL;DR本文提出了一种新的不变信息瓶颈（IIB）的域泛化方法，它采用互信息的变分形式来为非线性分类器开发可处理的损失函数，以实现最小化不变风险和减轻伪不变特征和几何偏移对模型的影响。在合成数据集上，IIB可以显著优于IRM（不变风险最小化），并且在实际数据集上平均优于13个基线方法0.9％。
发现论文，激发创造
  • 通过不变特征表示的领域泛化

    本文介绍了一种基于核方法的算法Domain-Invariant Component Analysis，通过最小化域间差异并保留输入输出间的功能关系，学习一个不变转换来实现从已知相关领域到未曾接触领域的知识迁移。学习理论分析表明，减少差异可以提高分类器在新领域上的期望泛化能力。实验结果表明，DICA成功地学习了不变的特征并改善了分类器的性能。

    Jan, 2013

  • 通过条件不变表示实现域泛化

    本文针对数据集偏差问题，提出一种基于类条件分布的域不变特征表示方法，在合成和实际数据上的实验证明其有效性。

    Jul, 2018

  • 带精度约束的对抗不变特征学习用于领域泛化

    提出一种带精度约束的对抗特征学习方法，以解决领域内不变性策略对于将在不同领域中进行分类任务的泛化性能具有负面影响的问题，并在实验验证中证明了该方法的优越性。

    Apr, 2019

  • 使用因果匹配进行域泛化

    本论文表明，领域泛化的目标不仅仅是考虑到类别标签，还包括特定因果特征，并提出了一种基于匹配的算法来实现该目标，该算法通过数据增强的方式观察基本对象并近似目标结果，结果表明该算法优于先前方法。

    Jun, 2020

  • 利用领域特定特征增强领域泛化

    本文提出了一种新颖的理论框架meta-Domain Specific-Domain Invariant（mDSDI），通过元学习框架优化是领域特定表示，并通过同时学习领域特定和领域不变特点，在潜在空间中区分特征，从而针对源域进行自适应，并在未知域上获得强大的泛化能力，实验证明这种方法在领域一般化中具有竞争力。

    Oct, 2021

  • 域一般化算法的失效模式

    本文提出了一个可以将错误分解成不同泛化方面的组成部分的域泛化算法评估框架，并将其扩展到捕捉实现不变性的各种失败类型。作者表明，域不变表示学习的策略存在两个问题，并提出了一个可行的调整分类器的方向。通过对Colored MNIST和Camelyon-17数据集的评估，作者发现泛化误差的最大贡献因素因方法、数据集、正则化强度甚至训练长度而异。

    Nov, 2021

  • 学习域不变表示特征的条件熵最小化原则

    提出了一种基于条件熵最小化原则的框架，用于过滤混入小说不变特征的不变特征，以增强新算法的泛化能力。

    Jan, 2022

  • 角度不变性视角下的领域泛化

    本文提出了一种利用神经网络实现特征提取的领域通用方法，即Angular Invariance Domain Generalization Network（AIDGN），基于这种方法，我们通过von-Mises Fisher（vMF）混合模型开发了优化目标，并在多个基准数据集上进行了广泛的实验验证。

    Oct, 2022

  • 领域通用化对领域相关类的应用

    该研究论文提出了一个公平且对比度特征空间正则化的算法，名为FOND，旨在学习可以转移源领域知识的、用于表示在特定领域中仅存在的类的广义表示。实验结果表明该算法在提高特定领域类别的泛化表现上取得了最先进的效果，并提供了可行的数据增强实用技巧。

    Jun, 2023

  • 弹性信息瓶颈

    信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

    Nov, 2023