May, 2023

衡量自然语言处理模型对领域转移的鲁棒性

PDF
TL;DR本文就自然领域转变设置中，fine-tuned model 和 few-shot learning model 的 domain robustness challenge 进行了研究，并提出 Source Drop (SD) 和 Target Drop (TD) 两种观点进行考虑。我们发现 DR challenge 在 fine-tuned model 和 few-shot learning model 中都存在，但在后者中不太显著。此外，本研究还发现增加 fine-tuned model 的大小可以提高模型的性能，特别是在分类方面。
large language modelsdomain robustnessnlp tasksfine-tuned modelfew-shot learning
发现论文，激发创造
  • 机器学习模型在实际中的稳健性、评估与适应性

    通过培训算法来提高对于机器学习领域的可靠性，从而应对领域的变化，提高算法的性能，预测其表现并轻量级适应应用领域。

    Mar, 2023

  • 主题、领域和语言变化的桥梁：综合离域场景的评估

    在真实世界中，语言模型在超出分布范围的场景中的泛化能力变得更低，基于提示的微调方法在语义差异较大的任务中表现更好，而基于梯度的学习存在结构障碍的偏差问题。

    Sep, 2023

  • 神经机器翻译的领域鲁棒性

    本文研究了机器翻译模型在未知领域中的性能表现，发现在未知领域中，统计机器翻译（SMT）和神经机器翻译（NMT）系统存在不同的问题：SMT 系统通常足够但不流利，而 NMT 系统流利但不足够。本文发现，NMT 系统出现的 “幻觉” 现象是造成低域稳健性的主要原因，研究并比较了有关提高 NMT 系统稳健性的方法，实验结果表明，这些方法能够稍微提高 NMT 系统翻译的充分性，但对流畅性的提高较小。

    Nov, 2019

  • 零样本跨语言情感分类在分布偏移下的探索性研究

    通过实验发现多语言模型存在在未知领域的过度拟合问题，在跨语言迁移的设置下，语言和领域的差异对测试结果产生了影响；进一步提出两种新的方法来解决这个问题，通过利用最新大型语言模型避免昂贵的标注过程，通过对 13 种语言的测试集进行评估，结果表明这些方法在 Amazon 和 Restaurant 评论中的准确度比 CAD 方法提高了 3.1%。

    Nov, 2023

  • 从头开始的域自适应

    提出了一种新的学习方式：从头开始进行领域自适应，以便在隐私保护的情况下将 NLP 扩展到敏感领域。研究比较了几种方法，包括数据选择和领域自适应算法以及主动学习方法，在情感分析和命名实体识别等两个 NLP 任务上进行了验证，结果表明结合上述方法可以缓解领域差距并进一步提高结果。

    Sep, 2022

  • 零样本问答的任务迁移和领域自适应

    使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。

    Jun, 2022

  • 基于类别相关领域漂移的鲁棒分类

    这篇论文探讨了一种特殊的数据集漂移，称为类依赖性领域漂移，提出了使用神经网络解决有信息论约束的优化问题的方法，并在玩具数据集上进行实验，证明了该方法能够学习到健壮分类器并能够推广到未知领域。

    Jul, 2020

  • 低资源语言的机器翻译性能预测：领域相似性的作用

    对于低资源语言（LRLs）来说，微调和测试多语言大型语言模型是昂贵和具有挑战性的。我们调查了微调语料库的大小、微调和测试语料库之间的领域相似性以及源语言和目标语言之间的语言相似性对模型性能的影响，结果表明领域相似性对机器翻译模型性能的预测有最重要的影响。

    Feb, 2024

  • 探索大型语言模型对代码分析中的分布式转换

    通过研究两个大型语言模型 CodeT5 和 Codex 在代码领域外具有的一般化能力，我们发现多任务学习与少许训练数据的微调相结合的方法能够很好地适应不同域的代码摘要和生成需求。

    Mar, 2023

  • 基于差异的领域可迁移性用于零样本分类

    本文探讨使用统计量来衡量不同任务间的相似性，从而减少 fine-tuning 的测试所需的任务对数量，并在 58 个任务和 6600 多个任务对组合上实验证明其可以提高任务的效率并显著降低运行时间。

    Feb, 2023