变分贝叶斯推理下的条件和标签偏移下的域通用化

IJCAIJul, 2021

变分贝叶斯推理下的条件和标签偏移下的域通用化

Domain Generalization under Conditional and Label Shifts via Variational Bayesian Inference

Xiaofeng Liu, Bo Hu, Linghao Jin, Xu Han, Fangxu Xing...

TL;DR本文提出了一种领域泛化（DG）方法来学习多个标记源域并将知识转移至在训练中不可访问的目标领域，使用变分贝叶斯推断框架来强制进行条件分布对齐，并在考虑后验分布对齐的同时考虑与 $p（y）$ 相关的边际标签偏移，从而在各个基准测试上实现了优越的表现。

Abstract

In this work, we propose a domain generalization (DG) approach to learn on several labeled source domains and transfer knowledge to a target domain that is inaccessible in training. Considering the inherent conditional and label shifts, we would expect the alignment of $p(x|y)$ and $p(

domain generalization conditional distribution alignment bayesian inference label shift ifl

发现论文，激发创造

领域无关的已知异常检测

在工业质量检验中，检测异常数据是一个持久存在的障碍。本文介绍了一种新的领域概括方法，能够训练带有稀疏正常数据的异常检测模型，并能够在之前未见过的对象上检测相同类型的异常。通过生成新的数据集，改进了现有的 MVTec AD 数据集，并使用两种基于嵌入的方法 SEMLP 和 Labeled PatchCore 进行了设计。整体上，SEMLP 取得了最佳的性能表现，图像级平均 AUROC 为 87.2%。这些新的数据集可以为改进工业异常检测的进一步研究提供基础。

Jul, 2024

自监督视觉 Transformer 是可扩展的领域泛化生成模型

我们提出了一种新颖的生成方法用于组织病理学图像的领域泛化，通过使用一种生成的自监督视觉转换器从图像片段中提取特征，并将它们无缝地融合到原始图像中，从而创建具有不同属性的新颖的合成图像，丰富数据集，从而提高深度学习模型在未见领域中的泛化能力。

Jul, 2024

领域通用知识训练：概念聚合和基于关系的注意力

知识追踪是在线教育系统中的关键任务，本文提出了一种领域泛化的知识追踪方法，通过利用现有教育系统中的学生互动来减轻训练数据有限性引起的性能下降问题，并设计了一个适用于任何知识追踪模型的领域泛化框架。通过实验证明，这种方法在有限的训练数据下表现出色。

Jul, 2024

表示与标签的不变相关性

通过引入 ICorr（Invariant Correlation）方法，本研究解决了在嘈杂环境中域泛化的挑战，通过训练一个在多个环境中保持不变的特征表示来实现，同时从因果关系的角度理论上证明了表示与标签的不变相关性是实现最佳不变预测器的必要条件。

Jul, 2024

可扩展的领域通用抽象命题分段

将文本分成细粒度的含义单元对于广泛的自然语言处理应用非常重要，本文重点讨论了抽象命题分割的任务，并提出了评估指标和可扩展准确的命题分割模型，同时介绍了领域泛化方法，并分享了一个简单易用的 API。

Jun, 2024

高效多模态无导数贝叶斯推断与 Fisher-Rao 梯度流

本文研究了精确抽样问题，特别关注涉及贝叶斯推断中的大规模逆问题的科学和工程应用。通过引入基于 Fisher-Rao 梯度流的动力学系统，提出了一种处理贝叶斯推断中的计算挑战的方法，并应用高斯混合逼近和 Kalman 方法以解决多模态分布的问题。所提出的方法可以高效地处理多模态分布，名为 Gaussian Mixture Kalman Inversion（GMKI）。在理论和数值实验中进行的多个实验证明了 GMKI 的有效性，包括概念验证、二维实例以及从正时间的解数据中恢复 Navier-Stokes 初始条件的大规模应用。

Jun, 2024

MedMNIST-C: 通过模拟真实图像损坏的全面基准和改进的分类器鲁棒性

我们创建并开源了基于 MedMNIST + 收藏的 12 个数据集和 9 种成像模式的基准数据集 MedMNIST-C，模拟了不同严重程度的任务和模式特定图像损坏以全面评估已建立算法对真实世界工件和分布偏移的鲁棒性，并提供定量证据表明我们简单易用的人工损坏方法可用于提高模型的鲁棒性。与传统的通用增强策略不同，我们的方法利用领域知识，在与广泛采用的方法相比时表现出更高的鲁棒性。通过引入 MedMNIST-C 并开源相应的库以实现有针对性的数据增强，我们为医学成像领域越来越具有挑战的鲁棒方法的发展做出贡献。代码可在此 https URL github.com/francescodisalvo05/medmnistc-api 找到。

Jun, 2024

PathoWAve：一种基于深度学习的加权平均方法，用于改善组织病理学图像中的领域泛化

在医学图像处理领域中，深度学习取得了显著突破，但染色协议的差异和扫描仪的不同导致领域偏移问题，影响了模型对未见领域数据的泛化能力。本文介绍了一种名为 PathoWAve 的多源领域泛化策略，它通过特定的权重平均技术、平行训练轨迹和组合增强方法，显著提高了深度学习模型在未见组织病理学领域的泛化性能，在 Camelyon17 WILDS 数据集上取得了优于先前方法的结果。

Jun, 2024

机械领域中解决反问题的条件评分扩散模型

我们提出了一个框架，使用条件分数扩散模型执行贝叶斯推理来解决机械学中涉及由加载的噪声测量推断出具有空间变化的材料属性的一类反问题。

Jun, 2024

专注关注：面向领域通用的提示优化方法，用于语言模型

我们提供了一个名为 “Concentration” 的面向领域通用的提示优化目标，它通过增加注意力强度并减少注意力分布的波动，从而改善了多源领域通用设置中软提示和硬提示通用性优化方法的准确性，同时保持了满意的领域内性能。

Jun, 2024