Apr, 2023

多源领域自适应表示学习的算法相关性界限

PDF
TL;DR使用信息论工具从表示学习的角度推导了多源域自适应（MDA）的新型分析。具体而言，研究了具有少量目标标签的监督 MDA 和具有伪标签的无监督 MDA 的联合分布对齐，提出了一种隐式处理目标偏移的新型深度 MDA 算法，最后扩展了相互信息边界以提供一种非平凡的梯度范数估计。所提出的算法在目标偏移 MDA 基准测试中具有与最先进技术相当的性能，并具有改进的内存效率。
multi-source domain adaptationrepresentation learningjoint distribution alignmentdeep mda algorithmgeneralization bounds
发现论文，激发创造
  • 基于伪目标域的多源无监督域自适应

    提出了一种新的多源域自适应方法 Pseudo Target for MDA (PTMDA)，采用敌对学习与度量约束将每组源和目标域映射到特定的子空间，并构造了一系列伪目标域进行训练以提高性能。此外，为提高深度神经网络的传递性，用有效的匹配规范化层代替传统批规范化层，给出理论分析和实验探究证明了该方法的有效性。

    Feb, 2022

  • 更多就是更好：多源深度域适应

    在深度学习时代，由于很难获得大规模标记数据来训练先进的深度神经网络，因此将已学习的知识从有标签的源领域转移到无标签或稀疏标签的目标领域成为一种吸引人的替代方法，而多源领域适应则是在收集有不同分布的多个源的标记数据中的一个强大而实用的扩展。在本次调查中，我们首先定义了各种多源领域适应策略。接着，我们从不同的角度系统地总结和比较了现代多源领域适应方法，以及常用的数据集和一个简单的基准测试结果。最后，我们讨论了值得探索的多源领域适应的未来研究方向。

    May, 2024

  • 深度学习时代的多源域适应：系统综述

    本文介绍了多源域适应的概念和相关技术方法，探讨了其在深度学习时代的发展趋势和研究方向，为该领域的研究提供借鉴和参考。

    Feb, 2020

  • 神经网络对抗训练的多源域适应

    本论文提出了一种新的多源域自适应的一般化界限，并使用对抗神经网络学习特征表示，取得了在情感分析、数字分类和车辆计数等数据集上显著的适应性表现。

    May, 2017

  • 分类器秘密地满足多源域自适应

    该论文提出了一种新的包括深度模型及自监督隐式对准在内的 MSDA 方法，并通过利用伪标记目标样本并在伪标记上强制执行分类器一致性来实现自适应，该方法被称为 Self-supervised Implicit Alignment (SImpAl)。通过在五个基准测试上的全面评估，展现了该方法的有效性。

    Mar, 2021

  • 多源蒸馏领域自适应

    该论文提出了一种新的多源蒸馏领域自适应（MDDA）网络，该网络考虑了多个源和目标之间的不同距离以及源样本与目标样本的不同相似性，通过预先训练源分类器、将目标映射到每个源的特征空间、选择最近的源样本进行微调和使用不同的域权重对不同预测进行聚合等四个阶段实现。实验表明，该方法明显优于现有的方法。

    Nov, 2019

  • 多源领域自适应的信息论正则化

    该论文采用信息正则化方法解决多源域适应（MDA）中多个域鉴别器可能存在的问题，并设计了一种名为 MIAN 的神经架构，实验结果表明，MIAN 明显优于现有的其他方法。

    Apr, 2021

  • 发现领域解耦来进行广义多源域自适应

    本研究提出了一种多源领域适应方法 (GM-DA)，试图解决传统方法中源域与目标域之间类别不完全重叠的问题，该方法基于变分域解缠绕 (VDD) 框架，借助在线伪标签来识别未知类别的目标样本，并且在两个基准数据集上展现了该框架的有效性。

    Jul, 2022

  • 学习领域不变表示以多源迁移学习

    本研究探讨了多源领域自适应和领域泛化设置中的目标通用损失的上界和两种领域不变表示的定义，并研究了强制学习每个领域不变表示的优缺点和权衡，并通过实验来检查这些表示的权衡，探索了我们所开发的理论的其他有趣特性。

    Nov, 2021

  • 多源域适应回归

    多源领域自适应算法通过回归问题的两步骤流程，提供了在多个源领域利用信息进行预测的方法，其中使用了灵活的单源自适应算法和集成学习，通过多种学习范式在目标适应学习器中实现线性组合，改进了预测性能。

    Dec, 2023