ICLRNov, 2018

渐进式记忆库用于增量领域自适应

PDF
TL;DR本文提出了一种增量域自适应的方法，它采用了在自然语言处理中广泛使用的递归神经网络，并将它与参数化的内存库结合起来，通过每次 RNN 转移步骤进行检索和更新，以构建一个在所有域上表现良好的统一模型。实验结果表明，与 fine-tuning 单独方法相比，我们的方法表现明显更好。
incremental domain adaptationnatural language processingrecurrent neural networkmemory bankattention mechanism
发现论文，激发创造
  • 循环神经网络的领域自适应应用于自然语言理解

    使用多任务学习方法，缩短新任务学习所需的数据量，以提高自然语言理解中的 slot 填充模型适配多目标任务或领域的效率。该多任务模型可以利用在其他任务中学习到的模式，以较少的数据获得更好的性能，并支持开放词汇，可以很好地应用于微小数据量的训练。实验结果显示了该方法在四个不同领域中的适配效果和开放词汇技术的有效应用。

    Apr, 2016

  • 多领域神经网络语言生成器用于口语对话系统

    本研究提供了一种训练多领域、基于递归神经网络的语言生成器的程序，包含了多个适应步骤，并利用伪造数据和领域内句子的优化目标函数，旨在在新的、看不见的领域内显著减少培训的数据需求，其语料库评估结果和主观测试都表示该程序可以在保证 BLEU 分数和槽误差率竞争力的同时大幅提高语言生成器性能。

    Mar, 2016

  • 领域增量学习的统一方法与记忆：理论与算法

    统一域增量学习（UDIL）是一个适用于域递增学习的统一框架，通过使用自适应系数进行训练，始终实现最紧密的错误界限，并在合成和实际数据集上优于现有方法。

    Oct, 2023

  • 参数增强的神经网络域适应

    本文提出了一种简单的领域自适应方法，可以应用于使用交叉熵损失训练的神经网络，在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。

    Jul, 2016

  • 用于神经机器翻译领域自适应的剪枝扩张模型

    该研究介绍了一种基于神经机器翻译的重要性修剪方法，通过知识蒸馏和参数细调，解决了域自适应中的遗忘、差异和模型爆炸等问题，从而达到了在通用域和特定域翻译中都取得显著提高的目的。

    Mar, 2021

  • 渐进分歧的无缝适应：一种新颖的领域增量学习方法

    本研究提出了一种名为 DARE 的新颖 DIL 方法，通过分歧、适应和细化的三阶段训练过程，逐步将与新任务相关的表示适应到由先前任务样本所覆盖的特征空间中，并同时整合任务特定的决策边界，有效减缓了特征编码器的表示漂移，降低了多个 DIL 基准下的灾难性遗忘，并且在任务边界处防止了突发的表示漂移，使得 DIL 模型的性能得到了良好校准，并保持了对先前任务的性能。

    Jun, 2024

  • 学习在记忆中调节对个体重新识别的不变性

    本文研究了人物重识别中的无监督域自适应问题，提出了一种基于样例、相邻和摄像机属性的不变性学习框架，并在三个重识别基准测试中取得了新的最佳结果。

    Aug, 2019

  • 基于脑启发的分布式记忆学习，用于高效特征无关的无监督域自适应

    通过分布式记忆学习机制，利用神经网络以及强化记忆的方式，提出了一种新的无梯度的快速领域适应机制，称为分布式记忆学习（DML），在跨域场景中以显著的性能提升和时间优化为特点。

    Feb, 2024

  • 弹性实践测试时间适应：软批归一化对齐和熵驱动的记忆库

    通过在测试时进行领域适应，提出了一种抗干扰的实用测试时间适应（ResiTTA）方法，用于解决模型退化和数据质量问题。利用鲁棒批量归一化方法和软对齐策略缓解过拟合和模型退化，并采用熵驱动的记忆库存储高质量数据。通过教师 - 学生模型和自学习损失对模型进行周期性的适应，最终在多个基准数据集上取得了最先进的性能。

    Jan, 2024

  • 适应目标领域演变的渐进式保守适应

    通过渐进地更新类原型进行细化，采用保守稀疏注意力机制限制关键维度的特征适应，以实现历史知识的保留和快速分类器适应的元学习框架，解决了逐渐演化的目标领域自适应问题，并通过 Rotated MNIST、Caltran 和 Portraits 数据集的实验证明了方法的有效性。

    Feb, 2024