提出了一种新颖的多源自动未标注模型,可在领域转移下进行文本分类。
Jan, 2022
通过研究两个大型语言模型 CodeT5 和 Codex 在代码领域外具有的一般化能力,我们发现多任务学习与少许训练数据的微调相结合的方法能够很好地适应不同域的代码摘要和生成需求。
Mar, 2023
该论文探讨了加速最近邻机器翻译的几种方法,其中介绍了一种简单但有效的缓存策略,避免了之前出现过的类似上下文的再次检索。翻译质量和运行时间表明了这些解决方案的有效性。
Apr, 2022
本文提出一种域自适应文本风格转移模型,能够处理非平行数据和域偏移问题,并在形式和情感风格的转换任务上取得良好的效果。
Aug, 2019
提出了一种利用众包工作者从网络中有效地收集一个目标领域平行句子的框架,从而快速地将机器翻译模型适应于目标领域,实验证明这种方法可以在几天内以合理的成本收集到目标领域平行数据,并且与通用翻译模型相比,域适应模型的 BLEU 评分平均提高了 7.8 分、最高提高了 19.7 分。
Oct, 2022
本文提出了一种名为模块化域自适应的框架,通过向 Conformer 编码器中添加适合各个域的适配器和前馈网络,使单个 Conformer transducer 模型能够处理各个领域的语音数据,从而大幅提升了语音识别的性能。
May, 2023
本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法,其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合,实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明,这种方法可以全面提高领域内性能,并提供了一种推理时间算法来推出新领域的泛化性能,同时只能增加成本。
Dec, 2021
本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法,该方法通过对通用预训练模型进行调整,以及在目标领域进行任务无关的知识蒸馏来实现。具体而言,在适应阶段,我们提出了领域特定词汇扩展,并使用语料库级别出现概率自动选择增量词汇表的大小。然后,我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明,我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型,同时比 BERT BASE 小 3.3 倍,快 5.1 倍。
Jun, 2021
通过使用现代的文本到图像扩散模型,利用生成的合成图像作为源数据的替代,以及利用域自适应的方法来传输以任务为导向的图像分类器中的知识,我们证明了使用一种生成模型和相应的目标数据可以适应世界上的任何事物。
Oct, 2023
通过将图像表示分为两个子空间:一个是每个领域的私有特征,一个是跨领域共享的特征,我们开发的一种新型架构不仅可以让模型在源领域中执行任务,还可以用于重构来自两个领域的图像。该架构不仅在一系列无监督领域适应场景中优于现有技术水平,还能输出私有和共享表示的可视化结果,从而能够解释领域适应过程。
Aug, 2016