本文探讨了在图像分类任务中使用多种损失函数和正则化器去提高测试精度，但是并不清楚这些损失函数是否可以学习出更好的下游任务表示。作者研究了训练目标的选择如何影响在 ImageNet 上训练的卷积神经网络的隐藏表示的可转移性，结果表明选择不同的损失函数会导致不同的结果，进一步指出了在为原始任务学习不变特征和为转移任务学习相关特征之间存在一种折衷。

Oct, 2020

本文介绍了一种能够有效地实现为线性分类器的学习表示算法，该算法能够明确地补偿域不匹配，并在训练分类器的过程中形成从目标（测试）域到源（训练）域的线性转换。通过多类别适应的表示学习，能够在异构特征空间之间进行映射，并且可以扩展到大型数据集。在几个图像数据集上的实验结果表明，与之前的方法相比，提高了准确性并具有计算上的优势。

Jan, 2013

通过研究 12 个具有不同骨干（ResNets 和 ViTs）和预训练集（OpenAI、LAION-400M、LAION-2B、YFCC15M、CC12M 和 DataComp）的鲁棒多模型的表示空间，我们发现这些模型的表示空间呈现出稳健性的两个特征：（1）稳健模型具有被激活的异常特征，其中一些特征的值远高于平均值，这些异常特征在模型的表示空间中引入了特权方向；我们证明这些特权方向解释了模型的大部分预测能力，通过裁剪最不重要的表示空间方向可减少 80% 并不对模型的准确性和稳健性产生负面影响；（2）鲁棒模型在表示空间中编码了更多的概念，虽然这种概念的叠加使得鲁棒模型能够存储更多的信息，但也导致了高度多义的特征，从而增加了其解释的难度。我们讨论了这些观察结果如何为模型剪枝和机制可解释性等领域的未来研究铺平了道路。

Oct, 2023

本研究旨在提出多源模块化转移学习技术，以减少强化学习所需的环境交互次数并提高知识重用。我们支持这一技术的有效性，并进行了广泛而具有挑战性的视觉控制跨领域实验。

May, 2022

使用多领域数据集的超级对比学习模型相比使用交叉熵模型，平均在 7 个下游数据集上表现更好，结果显示其学习到的表示更具鲁棒性且可跨领域转移。

Sep, 2023

本文提出了一种新颖的对抗多臂赌博方法，自动学习将源表示路由到适当的目标表示，进而以有意义的方式结合这些表示以产生准确的目标模型，适用于小数据应用。

Feb, 2022

本文提出了一种新的多源传递学习方法，它结合了源目标相似性和不同可靠性源之间的关系，并提出了一个综合的主动传递学习框架，包括分布匹配和不确定性采样，在合成和真实数据集上进行了广泛的实验，表明其在多项基准测试中优于其他现有模型。

Jul, 2018

该研究提出了一种跨不同领域和任务学习可转移表示的框架，借助度量学习的方法为新任务和领域泛化嵌入，通过对抗损失解决了域偏移问题，在标记源数据和目标域中的未标记或稀疏标记的数据上进行同时优化。该方法在只有每类很少标记实例的情况下，对新领域内的新类提供了令人信服的结果，优于现有的微调方法，并证明了该框架在从图像对象识别到视频动作识别的转移学习任务中的有效性。

Nov, 2017

通过对超参、架构、框架和数据集进行大规模实证研究，我们发现训练方法的差异会导致模型产生不同的泛化行为，从而在子域中表现更好，与其他模型的错误更不相关。这种多样性可以提高集成表现，并且连低准确度的模型也可以用来提高高准确度的模型。此外，我们发现训练方法的差异会使表示捕捉到有重叠但不是超集的特征集，将其结合可以提高下游性能。

Oct, 2021

本文研究基础模型学习分类表示在转移学习中的能力。我们通过解释过参数分类器所学习到的特征在转移学习中的普遍适用性，展示神经坍塌现象在样本训练类和新类别上的泛化性，并能成功应用在少样本学习任务中。

Dec, 2021