CONCERT: 带条件棱镜稀疏先验的协变量丰富的鲁棒局部信息传输

Mar, 2024

CONCERT: 带条件棱镜稀疏先验的协变量丰富的鲁棒局部信息传输

CONCERT: Covariate-Elaborated Robust Local Information Transfer with Conditional Spike-and-Slab Prior

Ruqian Zhang, Yijiao Zhang, Annie Qu, Zhongyi Zhu, Juan Shen

TL;DR我们提出了一种新颖的贝叶斯迁移学习方法 CONCERT，可以用于高维数据分析，通过引入条件 spike-and-slab 先验来进行信息传输，而且具有变量选择一致性和传输效率的优势。

Abstract

The popularity of transfer learning stems from the fact that it can borrow information from useful auxiliary datasets. Existing statistical transfer learning methods usually adopt a global similarity measure between the source data and the target data, which may lead to inefficiency wh

transfer learning bayesian transfer learning local information transfer variable selection concert

发现论文，激发创造

完美平衡：改善监督对比学习的迁移性和鲁棒性

通过向 SupCon 添加适当加权的类条件 InfoNCE 损失和类条件自编码器，可以在 5 个标准数据集上实现从粗糙到细致的迁移，以及在 3 个数据集上实现最差组的鲁棒性提高 4.7 个点，同时在 CelebA 上达到 11.5 个点的最优表现。

Apr, 2022

TransFusion：高维回归的协变量漂移鲁棒迁移学习

在高维回归环境中，我们提出了一种具有新型融合正则化器的两步法，有效利用来自源任务的样本，提高对具有有限样本的目标任务的学习性能，并提供了目标模型估计误差的非渐近界限，表明所提方法对协变量转变的鲁棒性。我们进一步确定了估计器最小化优选的条件。此外，我们将该方法扩展到分布式环境，允许预训练和微调策略，仅需一轮通信，同时保持了集中式版本的估计率。数值测试验证了我们的理论，突出了该方法对协变量转变的鲁棒性。

Apr, 2024

具有缩小和扩散先验的贝叶斯变量选择

提出一种基于贝叶斯方法、将先验分布放置在回归系数以及模型空间上、使用针对高维协变量的针尖和板块高斯先验、通过 Gibbs 抽样执行的变量选择方法，具有可靠的选择一致性和优于其他方法的良好性能。

May, 2014

一个基于信息理论的半监督迁移学习方法

本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来应用于目标数据集的正则化项

Jun, 2023

最优贝叶斯迁移学习

本研究提出了一种贝叶斯迁移学习框架，该框架利用源域和目标域之间的联合先验密度，定义高斯特征 - 标签分布的精度矩阵的联合 Wishart 密度作为一种转移有用信息的桥梁，提高了目标区域的分类性能。该方法是一种快速、基于闭式形式的最优贝叶斯迁移学习分类器，实验证明了其性能优于其他最先进的迁移学习和域适应方法。

Jan, 2018

具信息先验的迁移学习：简化基线优于先前报道

使用迁移学习和先验分布来提高分类器准确性，发现使用初始化的标准迁移学习在性能上表现比以前的研究要好得多，使用信息先验的方法在不同数据集上的相对收益不同，其中使用各向同性协方差矩阵的方法在可理解性和调整性上具有竞争力

May, 2024

本地信息传输作为复杂系统的时空滤波器

本文提出了一种评估局部信息传递的方法，并应用到了细胞自动机中，证实了粒子结构是细胞自动机中传递信息的主要机制。

Sep, 2008

NeurIPS 2021：团队 Cogitat 所提供的 EEG 迁移学习竞赛基准测试数据集

采用统计技术和可训练方法明确地对齐深度学习模型各层的特征分布，以应对跨数据集、受试者和记录会话的强协变量转移，从而构建针对 EEG 解码的主体无关的深度学习模型，该方法在 2021 年的 BEETL 比赛中获得了第一名。

Feb, 2022

半监督学习中的信息论方法在协变量偏移下的应用

该研究提出了一种用于半监督学习在数据集分布改变的情景下的新方法，基于信息理论，该方法包括了当前流行的熵最小化和伪标签方法，提出了一些新的上界描述其泛化误差情况，其在数据集分布改变的情景下胜过之前提出的方法。

Feb, 2022

稀疏概念瓶颈模型：对比学习中的 Gumbel 技巧

提出了一种使用概念瓶颈模型 (CBMs) 进行可解释分类的新架构和方法，该方法能够提供解读结果，通过引入称为概念瓶颈层的新类型层，训练 CBMs 取得了显著的准确度提升，并且通过概念矩阵搜索算法改进了复杂数据集上的预测结果。

Apr, 2024