本文提出了一种新的深度自适应网络 (DAN) 结构,它将多个领域的分布嵌入到再生核 Hilbert 空间中,并应用最优多核选择方法以匹配均值嵌入。DAN 能够学习具有统计保证的可传递特征,并通过核嵌入的无偏估计来实现线性扩展。实验证据表明,所提出的架构在标准领域自适应基准数据集上获得了最先进的图像分类误差率。
Feb, 2015
本文提出了一种称为自适应批量归一化(AdaBN)的方法来提高深度神经网络的泛化能力,无需额外组件或参数,并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。
Mar, 2016
提出了一种基于领域特定批量归一化的深度神经网络的新型无监督领域自适应框架,其中包括估计目标领域示例的伪标签和使用多任务分类损失进行源和目标域的学习,实现了多源领域自适应场景的全面优化。
May, 2019
提出了一种少样本领域自适应框架,通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化,可改善源模型的分类性能,实验证明该方法优于测试时适应方法,并且没有实时流条件的限制。
May, 2022
本研究提出了一种新的领域适应方法,该方法采用神经元级干预,通过修改特定神经元中每个测试样本的表示,生成来自源域的反事实示例,从而改善模型在未见域上的表现。与大多数其他领域适应方法不同,我们的方法仅应用于推理过程中,从而使其更加高效和实用。实验结果表明,该方法提高了模型在未见域上的性能。
Jun, 2022
该论文提出了一种名为 Deep Transfer Network 的领域适应框架,其中高度灵活的深度神经网络用于实现分布匹配过程,在分类准确性和执行时间等方面取得了显著的改进。
Mar, 2015
本文研究预训练模型在下游任务中的迁移方法,发现在预训练特征优秀且分布偏移较大的情况下,与全微调相比,线性探针能够获得更好的模型鲁棒性,同时,我们证明以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升,而线性探针再进行全微调的策略则能够优化这一问题。
Feb, 2022
提出了一种名为 Deep Adaptation Networks 的方法,通过在现有神经网络中添加线性组合的新滤波器来实现学习新技能,而不影响已经学习的性能,以及在各种图像分类任务中表现出良好的效果。
May, 2017
通过概念微调(Concept-Tuning)方法,可以改善预训练模型的特征表示,减少罕见特征和虚假关联特征的负面影响,进而提高细调方法在各种数据集上的表现。
Nov, 2023
介绍了一种新的正则化技术,使用对抗性目标来进行领域敌对微调,可以有效提高预训练语言模型在各种自然语言理解任务中的表现。
Sep, 2020