高效推断的动态领域自适应
本文介绍了『Domain Differential Adaptation(DDA)』的框架,该框架通过使用相关任务中的模型直接建模不同领域之间的差异,从而成功地应用于神经机器翻译的领域自适应中,并在多个实验设置中实现比其他替代方法更好的改进效果。
Oct, 2019
本论文研究了领域自适应中的标定问题,提出了Transferable Calibration方法来解决这个问题。该方法可以帮助现有的领域自适应模型更准确地进行标定,从而在关键场景下做出更可靠的决策。
Jul, 2020
本文介绍了一种自适应积累知识传递框架(A $^ 2$ KT),其中包括自适应积累机制,双特征分类器结构以及最大化聚类中心差异性和最小化聚类紧密度以获得更多领域不变性和任务特定的共享类别数据区分能力,该框架旨在解决部分域适应问题。复杂的实验表明该模型比当前PDA方法表现更优秀。
Aug, 2020
本文提出动态转移(Dynamic Transfer)方法应对多源领域间的冲突,它能够通过对样本进行模型参数的适应性调整,突破领域界限,简化源域和目标域之间的对齐。实验结果表明,我们提出的动态转移方法在多源领域适应数据集(DomainNet)上可以将性能提升超过3%。
Mar, 2021
提出了一种新的多源域自适应方法Pseudo Target for MDA (PTMDA),采用敌对学习与度量约束将每组源和目标域映射到特定的子空间,并构造了一系列伪目标域进行训练以提高性能。此外,为提高深度神经网络的传递性,用有效的匹配规范化层代替传统批规范化层,给出理论分析和实验探究证明了该方法的有效性。
Feb, 2022
本文研究深度学习中前馈源自适应的应用及其改进,通过交叉关注机制自适应目标数据集,探索自动化实例选取提升性能,实验表明我们提出的框架能显著改进现有方法。
Jul, 2022
提出了一种动态集成不确定性估值框架(Detective),通过学习适应多源域的模型参数来兼容多源域的联合,综合考虑多源域与目标域之间的领域偏移,使用证据深度学习来探测信息量大的目标样本,并引入上下文多样性感知计算器来增强选定样本的多样性。实验证明,该解决方案在三个领域适应基准上的表现显著优于现有方法。
Nov, 2023
通过仅操作 BN 层以减少学习干扰和提高域知识学习,结合自我监督学习提供监督,以及使用元学习强制辅助分支与主分支目标对齐的双层优化,我们的方法在五个真实领域转移数据集上优于其他方法。
Dec, 2023
在深度学习时代,由于很难获得大规模标记数据来训练先进的深度神经网络,因此将已学习的知识从有标签的源领域转移到无标签或稀疏标签的目标领域成为一种吸引人的替代方法,而多源领域适应则是在收集有不同分布的多个源的标记数据中的一个强大而实用的扩展。在本次调查中,我们首先定义了各种多源领域适应策略。接着,我们从不同的角度系统地总结和比较了现代多源领域适应方法,以及常用的数据集和一个简单的基准测试结果。最后,我们讨论了值得探索的多源领域适应的未来研究方向。
May, 2024