基于贝叶斯的领域不变学习通过参数分布的后验概括

Oct, 2023

基于贝叶斯的领域不变学习通过参数分布的后验概括

Bayesian Domain Invariant Learning via Posterior Generalization of Parameter Distributions

Shiyu Shen, Bin Pan, Tianyang Shi, Tao Li, Zhenwei Shi

TL;DR通过聚合不同训练领域上的后验，本研究提出了一个引理来隐式推断参数的不变后验分布，并使用 Posterior Generalization (PTG) 方法来估计不变参数分布，该方法基于变分推断近似参数分布，包括不变后验和训练领域的后验。研究结果表明，PTG 在 DomainBed 上的各种领域泛化基准测试上表现出竞争性能，且可与现有的领域泛化方法相结合以进一步提高性能。

Abstract

domain invariant learning aims to learn models that extract invariant features over various training domains, resulting in better generalization to unseen target domains. Recently, bayesian neural networks have a

domain invariant learning bayesian neural networks parameter distributions posterior generalization (ptg)domain generalization

发现论文，激发创造

更贝叶斯：具有不确定性的领域不变学习

本文提出了一种基于概率框架和可分变贝叶斯推理的方法，将不确定性引入神经网络权重来处理由于目标域数据不可访问引起的域移位和不确定性挑战。实验结果表明，该方法在四个广泛使用的交叉域视觉识别基准测试中始终提供最先进的平均准确性。

May, 2021

通过条件不变表示实现域泛化

本文针对数据集偏差问题，提出一种基于类条件分布的域不变特征表示方法，在合成和实际数据上的实验证明其有效性。

Jul, 2018

角度不变性视角下的领域泛化

本文提出了一种利用神经网络实现特征提取的领域通用方法，即 Angular Invariance Domain Generalization Network（AIDGN），基于这种方法，我们通过 von-Mises Fisher（vMF）混合模型开发了优化目标，并在多个基准数据集上进行了广泛的实验验证。

Oct, 2022

领域密度转换的域不变表示学习

本论文提出了一种基于对抗生成网络的方法，通过学习域间变换的不变性来实现域不变表示的学习，以解决领域泛化问题，并在多个广泛使用的数据集上取得了与最先进模型竞争的结果。

Feb, 2021

最优贝叶斯迁移学习

本研究提出了一种贝叶斯迁移学习框架，该框架利用源域和目标域之间的联合先验密度，定义高斯特征 - 标签分布的精度矩阵的联合 Wishart 密度作为一种转移有用信息的桥梁，提高了目标区域的分类性能。该方法是一种快速、基于闭式形式的最优贝叶斯迁移学习分类器，实验证明了其性能优于其他最先进的迁移学习和域适应方法。

Jan, 2018

领域无关条件不变预测

通过基于判别风险最小化理论和算法的不变特征捕获来解决领域泛化中没有领域标签的挑战，通过测试真实数据集验证了该方法的有效性。

Jun, 2024

动态领域泛化

提出一种名为 “动态域泛化”(DDG) 的新颖域泛化变体，其中模型学习扭曲网络参数以适应来自不同域的数据，并使用元调整器来扭曲网络参数，以便针对不同来源和目标域进行动态调整。通过使用 DomainMix 来模拟不同域的数据进行教学，以帮助元调整器适应未来的未知目标领域，无需经过训练即可实现模型的自适应调整，实验证明该方法的有效性。

May, 2022

高斯过程和贝叶斯探索的域不变学习

高斯过程的领域不变学习算法（DIL-GP）使得预测在合成和真实的数据集上具备优越性；DIL-GP 贝叶斯优化方法在四旋翼 PID 参数调整实验中展现出有效性。

Dec, 2023

具有变分信息瓶颈的学习到学习方法，用于域通用化

本文介绍了一种面向领域概括的概率元学习模型，并通过提出的元变分信息瓶颈原则，即 MetaVIB，学习了领域不变表示，从而更好地处理了预测不确定性和领域转移问题。

Jul, 2020

基于模型的领域通用化

本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

Feb, 2021