ACLJun, 2022

零样本问答的任务迁移和领域自适应

PDF
TL;DR使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。
pretrained language modelsdomain adaptationreading comprehension taskssupervised pretrainingzero-shot performance
发现论文，激发创造
  • 对话语言理解的零射击自适应转移

    本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型，通过利用槽位描述信息实现可重用概念在领域之间的迁移，并避免了显式概念对齐的训练复杂度，实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统，特别在低数据情况下表现更出色。

    Aug, 2018

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • MultiCQA：基于自监督文本匹配模型的零样本迁移在大规模上的应用

    研究了 140 个英文社区问答论坛上自我监督训练的文本匹配模型的零样本转移能力，并调查了其在九个答案选择和问题相似性任务的模型表现，提出了结合自我监督与监督多任务学习的最佳零样本转移模型，该模型在所有九个任务上均实现了最新的状态。

    Oct, 2020

  • 统一无监督域自适应与零样本视觉识别

    该论文提出了基于领域自适应的跨域分类问题，通过联合子空间的学习，使用有标签样本辅助实现跨域特征投影不变性，并结合了一种监督的局部保持投影 (SLPP) 技术，同时在无监督和零样本学习条件下，在三个跨域自适应基准数据集上实现了最先进的结果。

    Mar, 2019

  • 不要停止预训练：将语言模型适应于领域和任务

    本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

    Apr, 2020

  • 基于差异的领域可迁移性用于零样本分类

    本文探讨使用统计量来衡量不同任务间的相似性，从而减少 fine-tuning 的测试所需的任务对数量，并在 58 个任务和 6600 多个任务对组合上实验证明其可以提高任务的效率并显著降低运行时间。

    Feb, 2023

  • 零样本深度领域适应

    该研究提出了一种基于零样本学习的深度学习领域自适应方法（ZDDA），它可以在没有相关目标域数据的情况下进行任务迁移和传感器融合，并通过多个数据集的实验验证了其有效性。

    Jul, 2017

  • 通过阅读实体描述进行零样本实体链接

    本研究提出了零样本实体链接任务，通过大规模无标记数据预训练的强阅读理解模型与适应性预训练策略，成功实现了无先验标注数据的实体链接，并在新数据集上获得了比 BERT 等强预训练模型更好的表现。

    Jun, 2019

  • 多语言语言表示模型跨语言转移学习实现零样本阅读理解

    本文系统性地探讨了在多语料库上预训练语言表示模型的情况下，零 - shot 跨语言转移学习在阅读理解任务中的应用，并通过实验结果表明，使用预训练的语言表示模型可以实现零 - shot 学习，无需将源语言数据转换为目标语言，因为这样做甚至会降低模型的性能。研究还进一步探讨了模型在零 - shot 情况下的学习效果。

    Sep, 2019

  • 无监督的问答模型自适应

    通过无监督的大语言模型适应，研究论文探索了在不同目标领域中提供正确答案的问题回答，并研究了输入标记替换等方法来部分缓解中间和末尾信息获取的困难。

    Feb, 2024