AAAIMar, 2024

敏捷多源无域适应

PDF
TL;DR通过使用多个预训练模型中的丰富知识来适应地利用知识是大模型时代中的一个重要问题。本研究提出了一种新方法，通过 Bi-ATEN 模块来学习领域内权重和领域间组合权重，以在实例的特殊性和域的一致性之间实现良好平衡，从而实现在无需访问源数据的未标记目标域中自适应地利用来自多个源预训练模型的知识。
pretrained modelsknowledge utilizationtarget domainsource backbonesbi-level attention ensemble (bi-aten) module
发现论文，激发创造
  • 基于交叉注意力的前馈无源隐空域自适应

    本文研究深度学习中前馈源自适应的应用及其改进，通过交叉关注机制自适应目标数据集，探索自动化实例选取提升性能，实验表明我们提出的框架能显著改进现有方法。

    Jul, 2022

  • SUMMIT: 单模型无源适应到多模态目标

    我们提出了一种通过自动选择两种互补的交叉模态伪标签融合方法（一致性过滤和熵加权），来解决在没有访问原始源数据集的情况下，将在单模数据上独立训练的一组模型调整到由未标记的多模数据组成的目标领域的问题。

    Aug, 2023

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021

  • 通过两阶段知识蒸馏实现黑盒源自由域适应

    本研究旨在解决源保密的问题，提出了一种基于知识蒸馏的两阶段方法，该方法只使用源模型的输出和目标数据来适应深度神经网络，并在三个跨域分割任务上取得了惊人的结果。

    May, 2023

  • 领域迁移下的聚类学习

    本文提出了一种基于无监督域自适应和深度聚类的方法，利用来自多个源域的数据信息建立一个与具体域无关的聚类模型，并通过特征对齐和自我监督实现有效地适应目标域。本文的方法即使在少量目标样本的情况下也能自动发现相关语义信息，并在多个域自适应基准测试中取得了最先进的结果。

    Aug, 2020

  • 神经机器翻译领域自适应推理

    研究神经机器翻译中的自适应集成加权，解决在不牺牲原始域性能的情况下提高新领域性能，通过两个西班牙语 - 英语和三个英语 - 德语任务的逐步适应比较，提出自适应 NMT 集成解码的新方案，采用源信息扩展贝叶斯插值，并在没有域标签的情况下在测试领域中展现了较强的改进。

    Jun, 2019

  • 通用源自由域自适应

    该研究提出了一种新的两阶段学习过程，以实现无监督域适应并实现源自由部署。在采购阶段，通过利用现有的源数据，在新颖的生成分类器框架中增强了模型拒绝源外分布样本的能力；在部署阶段，通过使用命名为源相似度度量的新型实例级加权机制，提出了一个简单而有效的源自由自适应目标，以设计一个统一的自适应算法，该算法可在各种范畴差异下运作，并实现了卓越的域适应性能。

    Apr, 2020

  • 通过协调域编码器和匹配分类器的多源域自适应

    提出了一种新颖的多源自动未标注模型，可在领域转移下进行文本分类。

    Jan, 2022

  • 无监督领域自适应的多源注意力

    该论文探讨了如何选择多个源来进行领域适应，使用注意力学习算法解决了多源无监督领域适应中的源选择难题，并在情感分类基准测试中表现出更好的性能。

    Apr, 2020

  • 神经网络对抗训练的多源域适应

    本论文提出了一种新的多源域自适应的一般化界限，并使用对抗神经网络学习特征表示，取得了在情感分析、数字分类和车辆计数等数据集上显著的适应性表现。

    May, 2017