综合多样特征先验
通过对超参、架构、框架和数据集进行大规模实证研究,我们发现训练方法的差异会导致模型产生不同的泛化行为,从而在子域中表现更好,与其他模型的错误更不相关。这种多样性可以提高集成表现,并且连低准确度的模型也可以用来提高高准确度的模型。此外,我们发现训练方法的差异会使表示捕捉到有重叠但不是超集的特征集,将其结合可以提高下游性能。
Oct, 2021
本文提出了一种新的多视角学习问题,通过匹配实际分布的矩来计算不同视角之间的最优仿射映射,进一步推导出算法的概率解释和样本复杂度界限,并在活动识别任务上进行了大量实验,证明了所提方法提高性能的价值。
Apr, 2010
本文提出一种方法,利用编码表示中的多样性和相关性变化特征,结合不同预训练模型获得更好的极端样本识别性能。通过实验结果验证了该算法的有效性。
Jun, 2023
该研究通过对深度神经网络的训练动态、神经元和层级表示的广泛实证研究,尝试辨别深度学习系统中隐含的聚类能力、机制和超参数,评估它们对解释这些系统的泛化能力的相关性,从而阐述了先验知识在机器学习设计中的重要性。
Mar, 2022
本文提出了一种新的具有可学先验的空间混合模型来实现感知分组。 该方法将对象的属性划分为 “形状” 和 “外观”,并通过神经网络分别建模。 在感知分组数据集上进行的广泛实证测试表明,所提出的方法在大多数实验配置下优于现有的方法。
Feb, 2019
本研究使用预先训练的网络作为示范,旨在学习一种能够整合各种异构结构教师的多才多艺、轻量级的学生模型,而无需获取任何人工注释信息。为此,提出了一种通用的特征学习方案,所有教师的特征都被转换成共同的空间,并且要求学生模型模仿他们的所有特征,以使完整的知识得以融合,并在一系列基准测试中证明所提出的方法的良好性能。
Jun, 2019
在这项工作中,我们提出了一种利用扩散概率模型(DPMs)来减轻简洁性偏见的集成多样化框架。我们展示了在特定训练间隔中,DPMs 能够生成具有新颖特征组合的图像,即使在训练时显示相关输入特征的图像。我们利用这一关键属性通过集成差异来生成合成的反事实情景,从而增加模型的多样性。我们展示了 DPM 引导的多样化足以去除对主要简洁性提示的依赖,而无需额外的监督信号。我们进一步通过几个多样化目标进行了实证量化,并最终展示了与依赖辅助数据收集的先前工作相当的改进的泛化和多样化性能。
Nov, 2023