- 置信度预测中的长度优化
研究发展了一种新颖的基于长度优化的一致性预测框架(CPL),能够在不同类别的协变量转移下确保条件有效性,并构建出(接近)最优长度的预测集合,通过广泛的实证评估验证了其在分类、回归和文本相关设置方面相较于最新方法在预测集大小性能方面的优越性。
- ICML协变量变换下的高维核方法:数据依赖隐式正则化
本文研究了在协变量转移下高维核岭回归,并分析了重要性重新加权的作用。我们首先推导了协变量转移下高维核的渐近展开式。通过偏差 - 方差分解,我们在理论上证明了重新加权策略可以降低方差。对于偏差,我们分析了任意或精心选择的规范化尺度对偏差的影响 - ICMLCRoFT:用于 OOD 泛化和开放集 OOD 检测的鲁棒微调和并发优化
本文提出了一种能够改善视觉 - 语言预训练模型(VL-PTMs)对闭集外分布数据的泛化能力,同时在微调期间有效检测开放集未知类别的目标函数方法。
- 协变量漂移下的一致性预测系统
该论文提出了一种适应协变量偏移的加权一致性预测系统(WCPS),通过利用训练和测试协变量分布之间的似然比,构建非参数预测分布,并通过模拟实验证明了其在协变量偏移下的概率校准性。
- CVPR针对开放集测试时间自适应的统一熵优化
提出了一种称为统一熵优化(UniEnt)的简单而有效的框架,用于同时适应协变量转移内分布数据和检测协变量转移外分布数据,并通过引入 UniEnt+ 来减轻由于硬数据分区而引起的噪声。在 CIFAR 基准和 Tiny-ImageNet-C 上 - TransFusion:高维回归的协变量漂移鲁棒迁移学习
在高维回归环境中,我们提出了一种具有新型融合正则化器的两步法,有效利用来自源任务的样本,提高对具有有限样本的目标任务的学习性能,并提供了目标模型估计误差的非渐近界限,表明所提方法对协变量转变的鲁棒性。我们进一步确定了估计器最小化优选的条件。 - 协变量偏移下的最小范数插值
高维线性回归中的过拟合与泛化问题在转移学习中的不同表现及风险边界进行了分析和研究,并提出了基于超参数化程度的有益和有害转变偏差的分类方法。
- 上下文强化学习中基于一般协变量转移的分布稳健策略评估
我们介绍了一种分布健壮的方法,用于在背景变量移位下增强上下文赌博的离线策略评估的可靠性。通过应用分布健壮回归技术改进条件奖励分布的估计,我们开发出一套综合的策略价值评估器,并通过理论分析证明了该方法相对于传统方法在偏移较大时的有限样本上限优 - 语义分割中的可靠性问题:我们能否使用合成数据?
本文挑战了最先进的生成模型,通过对稳定扩散进行微调,在语义分割方面自动生成合成数据以评估其可靠性。通过广泛实验,我们表明合成数据与真实异常数据的表现之间存在高度相关性,从而显示了该方法的有效性。此外,我们说明了如何利用合成数据来提高分割器的 - 全谱外部分布检测的似然感知语义对齐
提出一种称为 Likelihood-Aware Semantic Alignment(LSA)的框架,以促进图像和文本的对应关系,针对全谱带外分布检测进行语义相关性的调整,并在复杂的领域转换中适应性地识别有正常分布的样本。
- Ad-Rec: 处理推荐网络的协变量偏移的高级特征交互
本文介绍了一种名为 Ad-Rec 的高级网络,它利用特征交互技术来解决协变量偏移问题,在推荐任务中消除了不相关的交互,通过遮蔽变换器实现了学习高阶交叉特征,并减轻数据分布漂移的影响。我们的方法通过综合消融研究证明了 Ad-Rec 的可扩展性 - ICCV针对协变量和标签偏移的测试时间调整器
我们提出了一种新的标签偏移适应器,可以有效地处理标签偏移,并通过将其与测试时适应方法相结合来实现显著的性能改进。
- 具有泛化保证的协变量移位下的联邦学习
本文提出了一种新的全局模型训练范式 FTW-ERM,利用提高密度比匹配方法来处理联邦学习中的客户端内部和客户端间的协变量移位,并提出了与经典 ERM 在 FL 中相同隐私保证水平的低通信效率的 FITW-ERM 变体。理论上表明,在某些情况 - ICML无损弱监督解缠编
该论文指出只需要知道环境中有多少因素发生了变化,而不必了解哪些因素发生了变化,就足以学习到分离的表征,同时实验表明,这种弱监督方式足以在多个基准数据集上可靠地学习到分离的表征,并在多个任务上发挥作用,包括协变量漂移下的一般化、公平性和抽象推 - COOS 数据集和基准,用于测量图像分类器的外部样本泛化能力
通过使用显微镜图像,创建一个公共数据集来评估图像分类器的泛化能力,发现大多数分类器表现良好在类似于训练数据集的测试数据集上,但是它们不能泛化到具有更大协变量偏移的数据集上。
- 自适应混合单元:深度神经网络中可训练的激活函数
本研究介绍一种可训练的混合激活函数方案,Adaptive Blending Units(ABUs),相比与传统方法具有自适应调整比例的能力,在实验中证明了 ABUs 和自适应缩放在训练效率等方面的优势,同时也探讨了其原理。