IDANI: 通过神经元级别的干预实现推理时间域自适应

Jun, 2022

IDANI: 通过神经元级别的干预实现推理时间域自适应

IDANI: Inference-time Domain Adaptation via Neuron-level Interventions

Omer Antverg, Eyal Ben-David, Yonatan Belinkov

TL;DR本研究提出了一种新的领域适应方法，该方法采用神经元级干预，通过修改特定神经元中每个测试样本的表示，生成来自源域的反事实示例，从而改善模型在未见域上的表现。与大多数其他领域适应方法不同，我们的方法仅应用于推理过程中，从而使其更加高效和实用。实验结果表明，该方法提高了模型在未见域上的性能。

Abstract

Large pre-trained models are usually fine-tuned on downstream task data, and tested on unseen data. When the train and test data come from different domains, the model is likely to struggle, as it is not adapted to the test domain. We propose a new approach for domain adaptation (DA),

domain adaptation neuron-level interventions counterfactual example efficiency performance improvement

发现论文，激发创造

高效推断的动态领域自适应

本文提出了一种动态域自适应框架（DDA），该框架可以在低资源情况下实现高效的目标推理，并继承域适应所带来的有利泛化能力，同时应用领域混淆约束来提高适应性能。

Mar, 2021

神经网络的领域对抗性训练

本文提出了一种新的领域适应的表示学习方法，使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征，该方法增加了标准层和一个新的反向梯度层，可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。

May, 2015

参数增强的神经网络域适应

本文提出了一种简单的领域自适应方法，可以应用于使用交叉熵损失训练的神经网络，在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。

Jul, 2016

领域对抗神经网络

本研究提出了一种针对领域自适应问题的新型表示学习算法，其中训练和测试数据来自类似但不同的分布，实验结果表明，我们的神经网络算法对领域适应具有更好的性能表现，而不管是标准神经网络还是支持向量机，即使是使用 Chen 等人提出的最先进的边缘化堆栈去噪自编码器的输入特征提取。

Dec, 2014

神经机器翻译的领域差异适应

本文介绍了『Domain Differential Adaptation（DDA）』的框架，该框架通过使用相关任务中的模型直接建模不同领域之间的差异，从而成功地应用于神经机器翻译的领域自适应中，并在多个实验设置中实现比其他替代方法更好的改进效果。

Oct, 2019

领域感知微调：增强神经网络的适应性

本文介绍了 Domain-Aware Fine-Tuning (DAFT) 的方法，该方法通过批量归一化转换和线性探测与微调的集成来有效减轻特征扭曲，并在分布和非分布数据集上实现了改进的模型性能。

Aug, 2023

面部反欺诈的自领域适应

本研究提出了一种自适应框架以应对面部反欺骗技术面临的跨域泛化问题，使用基于元学习的领域自适应算法，利用未标记的测试域数据来更新适配器以进一步提高性能。在四个公共数据集上的实验证明了该方法的有效性。

Feb, 2021

类增量领域自适应

该研究提出了一种实用的域自适应范式 —— 增量类别域自适应（Class-Incremental Domain Adaptation，CIDA），并且根据理论和实证观察，提出了一种基于样板网络的有效方法，使得在域偏移的情况下可以对目标样本进行分类，并且可以对共享的和新的目标类进行分类，其性能优于 CIDA 范式中的 DA 和 CI 方法。

Aug, 2020

领域自适应时间序列分类以减轻协变量漂移

本文提出一种新的基于监督学习的域适应技术，利用最优传输方法和嵌入相似性技术，从少量样本中搜索最优类别相关转换，并在推理中选择相应的转换，能够减小领域差异，并在多个包括模拟和手写数据集的领域漂移时间序列数据集上进行了广泛的评估。

Apr, 2022

简化版神经网络无监督域自适应

本文研究了无监督领域自适应的方法，使用神经网络学习表示来预测重要特征的子集，并探讨了联合训练表示和任务学习者、现有枢轴选择方法的重要性。

May, 2019