f 域对抗学习:理论与算法
我们改进了 Acuna 等人提出的无监督领域自适应(UDA)的理论基础,通过改进他们基于 f - 差异度的不一致性,并引入一个新的度量,即 f - 域差异度(f-DD)。通过去除绝对值函数并结合一个缩放参数,f-DD 产生了新的目标误差和样本复杂度界限,使我们能够恢复先前基于 KL 的结果,并弥合了 Acuna 等人(2021)提出的算法与理论之间的差距。利用一种定位技术,我们还开发了一个快速学习界限。实证结果表明,在流行的 UDA 基准测试中,基于 f-DD 的领域学习算法比以前的工作表现更优秀。
Feb, 2024
提出了一种基于判别式对抗领域适应 (DADA) 的新型对抗学习方法,其鼓励在输入实例的任何情况下,类别和域预测之间存在相互抑制关系,以解决现有方法中任务和域分类器相互独立导致的收敛问题,该方法能够在实际条件下定义一个最小极值博弈,促进联合分布对齐。除传统的闭集领域适应以外,还将 DADA 扩展到部分和开放集领域适应的极具挑战性的问题设置中,在基准数据集上实验表明了该方法的有效性并达到了三个场景下的最新成果。
Nov, 2019
本研究提出了一种针对领域自适应问题的新型表示学习算法,其中训练和测试数据来自类似但不同的分布,实验结果表明,我们的神经网络算法对领域适应具有更好的性能表现,而不管是标准神经网络还是支持向量机,即使是使用 Chen 等人提出的最先进的边缘化堆栈去噪自编码器的输入特征提取。
Dec, 2014
本文介绍了对抗学习的方法能够通过一般化的视角更好地理解前面的方法,并提出了一个新的对抗判别域自适应框架,称为 ADDA,它将判别建模、解除权重共享和 GAN 损失结合在一起,优于竞争的域对抗方法,且在标准的跨域数字分类任务和一种新的更难的跨模态物体分类任务中超越了最新的无监督适应结果。
Feb, 2017
本文介绍了一种针对域自适应问题的新型分布距离度量 —— 偏差距离,并给出了不同损失函数的估计方法以及普遍推广界限。同时,本文也探讨了偏差距离减少和多种损失函数的最小化算法,并验证了其在不同应用场景的有效性。
Feb, 2009
通过集群假设的视角,该研究提出了两个新的模型:结合领域对抗训练和对集群假设违反的惩罚的虚拟敌对领域自适应(VADA)模型以及采用自然梯度步骤进一步减小集群假设违反的 Decision-boundary 迭代细化训练与教师(DIRT-T)模型。广泛的实证结果表明,这两个模型的组合大大提高了数字,交通标志和 Wi-Fi 识别领域自适应基准的最新性能。
Feb, 2018
本文提出了一种新的领域适应的表示学习方法,使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征,该方法增加了标准层和一个新的反向梯度层,可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。
May, 2015
深度学习在许多领域都展现出其超凡表现,但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现,无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题,并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果,该文对该领域的方法和应用进行了系统比较,并强调了当前方法的不足及未来研究方向。
Aug, 2022
本文综述了最新的单源深度无监督域适应方法,主要集中在视觉任务中,并讨论了未来研究的新视角。首先介绍了不同领域适应策略的定义和现有基准数据集的描述,然后总结和比较了不同类别的单源无监督域适应方法,包括基于差异性的方法,对抗式鉴别方法,对抗式生成方法和自监督方法,并探讨了未来的研究方向、挑战和可能的解决方案。
Sep, 2020
本文研究了联邦学习在分布式设备网络上的数据隐私和效率问题。我们提出了一种有原则的方法来解决联邦域自适应问题,旨在通过扩展对抗适应技术来对齐不同节点学习到的表征与目标节点数据分布。同时,我们设计了一个动态注意机制和利用特性解缠来增强知识转移。在几个图像和文本分类任务上进行了实证实验,并在无监督联邦域自适应设置下展示了有前途的结果。
Nov, 2019