监督异常传递学习中的严格率

Oct, 2023

Tight Rates in Supervised Outlier Transfer Learning

Mohammadreza M. Kalan, Samory Kpotufe

TL;DR稀缺的异常数据是学习准确的异常检测决策规则的一个关键障碍。虽然迁移学习方法在异常检测中取得了最近的经验成功，但关于从源异常检测任务向目标任务中传递知识的条件和方式的基本理解仍不清楚。本研究采用 Neyman-Pearson 分类的传统框架，假设可以访问一些相关的但不完美的异常数据，并给出了关于该问题的信息理论限制，在这些限制下，我们验证了自适应程序在原则上可以实现，即无需关于源和目标异常分布差异的先验信息。

Abstract

A critical barrier to learning an accurate decision rule for outlier detection is the scarcity of outlier data. As such, practitioners often turn to the use of similar but imperfect outlier data from which they might transfer information to the target outlier detection task. Despite th

outlier detection transfer learning neyman-pearson classification information-theoretic limits adaptive procedures

发现论文，激发创造

一个基于信息理论的半监督迁移学习方法

本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来应用于目标数据集的正则化项

Jun, 2023

转移学习中的越界泛化测量

本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

Jul, 2022

元学习用于最优输运的无监督异常检测

本文提出了一种利用元学习自动化检测离群点的新方法，该方法利用最优输运从以前的离群点数据集中提取最佳离群点检测技术，并且我们发现该方法在非监督离群点检测中表现优异，该方法也可以轻松推广到其他非监督设置。

Nov, 2022

具有不可靠源数据的鲁棒传输学习

解决在稳健转移学习中由贝叶斯分类器的不确定性和目标与源分布之间弱可转移信号引起的挑战。我们介绍了一种称为 '' 不确定性水平 '' 的新量，用于衡量目标和源回归函数之间的差异，并提出了一种简单的转移学习过程。我们建立了一个一般定理，展示了这个新量与风险改进方面的学习可转移性是如何相关的。我们的提出的 ''Transfer Around Boundary''（TAB）模型，在平衡目标和源数据性能的阈值的基础上，既高效又稳健，在改进分类的同时避免了负转移。此外，我们还展示了 TAB 模型在非参数分类和逻辑回归任务上的有效性，达到了最优上限，与对数因子相匹配。模拟研究进一步支持了 TAB 的有效性。我们还提供了简单的方法来绑定过度的错误分类错误，无需在转移学习中专门的知识。

Oct, 2023

均值漂移对比损失用于异常检测

本文提出一种新的深度异常检测方法，利用预训练的表示在外部数据集上进行对比学习，并基于分析提出改进的对比学习目标函数 Mean-Shifted Contrastive Loss，该方法可以显著提高异常检测性能。实验结果表明，与现有方法相比，在 CIFAR-10 数据集上实现了 98.6％的 ROC-AUC 表现，达到了最新的技术水平。

Jun, 2021

迁移学习的信息论分析

本文研究了迁移学习中的广义化误差和 excess risk 问题，提出了一种信息论分析方法。结果表明 Kullback-Leibler divergence 在特定环境中能很好地描述广义化误差，我们还将结果推广到一种特定的经验风险最小化算法中。同时，该方法在迭代，噪声梯度下降算法中有潜在的应用。

May, 2020

提高样本外检测的三个因素

通过引入自我知识蒸馏损失、采样半难例离群数据和使用监督对比学习，我们的方法在分类准确性和离群检测性能之间取得平衡，同时提高了两个性能指标。

Aug, 2023

高维线性回归的统一迁移学习模型

该研究开发出一种称为 UTrans 的可解释性统一转移学习模型，它可以检测可转移的变量和源数据，并基于假设检验提出源检测算法来排除不可转移的数据，通过多次实验比较预测误差和解释性等因素，表明 UTrans 相对于现有的算法具有较低的误差和更好的解释性，并将其应用于美国代际流动数据并将其与经典机器学习算法进行比较。

Jul, 2023

迁移学习下的模型选择限制

研究表明，在模型选择中，转移距离是一个新的复杂度项，但在分类中，自适应速率可能会非常缓慢，而需有关距离的知识的 oracle 速率则可以达到更快的速度。

Apr, 2023

马哈拉诺比斯感知训练用于外部分布检测

在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

Nov, 2023