通过转移不稳定的特征学习稳定的分类器
本文通过分析一系列偏置特征并证明没有单一的模型适用于所有情况来改善模型的鲁棒性,进一步表明通过选择合适的偏置模型,我们可以获得比更复杂的模型设计基准更好的鲁棒性结果。
Oct, 2022
本文探讨了无监督学习发现特征以提高预测模型泛化性能的潜力,并利用视频序列预测方块塔的稳定性,展示了模型训练得出的特征能够支持对超出训练集分布的方块配置进行稳定性预测。
Dec, 2016
本文研究了连续学习中数据集偏差对模型知识迁移的影响,并通过设计实验证实了标准 CL 方法会将偏差从一个任务传递到另一个任务,而提出的 Group-class Balanced Greedy Sampling(BGS)插件能有效地解决这一问题。
Mar, 2023
解决在稳健转移学习中由贝叶斯分类器的不确定性和目标与源分布之间弱可转移信号引起的挑战。我们介绍了一种称为 '' 不确定性水平 '' 的新量,用于衡量目标和源回归函数之间的差异,并提出了一种简单的转移学习过程。我们建立了一个一般定理,展示了这个新量与风险改进方面的学习可转移性是如何相关的。我们的提出的 ''Transfer Around Boundary''(TAB)模型,在平衡目标和源数据性能的阈值的基础上,既高效又稳健,在改进分类的同时避免了负转移。此外,我们还展示了 TAB 模型在非参数分类和逻辑回归任务上的有效性,达到了最优上限,与对数因子相匹配。模拟研究进一步支持了 TAB 的有效性。我们还提供了简单的方法来绑定过度的错误分类错误,无需在转移学习中专门的知识。
Oct, 2023
本文提出了一种通过对抗学习策略学习能够抵抗特定数据因素影响的新型表示学习方法,并通过多个基准测试表明所提出的方法可以获取到不变表示,从而提高模型的泛化能力。
May, 2017
本文提出了一种机器学习模型稳健性的框架,通过人类关于因果关系的常识知识来解决模型在训练和测试过程中的不一致性问题。透过在每个训练数据中加入人类标注的潜在未测变量,将问题转化为协变量转移问题,并引入分布稳健优化目标来控制测试时偏移的最坏情况损失,实验结果表明,在具有旋转混淆的数字识别任务和分析 NYPD 警务巡逻地点混杂的任务中能获得 5-10% 和 1.5-5% 的性能提升。
Jul, 2020
稀缺的异常数据是学习准确的异常检测决策规则的一个关键障碍。虽然迁移学习方法在异常检测中取得了最近的经验成功,但关于从源异常检测任务向目标任务中传递知识的条件和方式的基本理解仍不清楚。本研究采用 Neyman-Pearson 分类的传统框架,假设可以访问一些相关的但不完美的异常数据,并给出了关于该问题的信息理论限制,在这些限制下,我们验证了自适应程序在原则上可以实现,即无需关于源和目标异常分布差异的先验信息。
Oct, 2023