ACLApr, 2022

Curriculum: 自然语言理解广覆盖语言现象基准测试

PDF
TL;DR本文介绍一种新的 NLI 基准 Curriculum，其中包括 36 种广泛涵盖的语言现象的数据集和评估程序，证明这种以语言现象驱动的基准在诊断模型行为和验证模型学习质量方面具有有效性，同时为未来对数据集的重新设计、模型架构和学习目标的研究提供了启示和借鉴。
language modelslinguistic evaluationnli benchmarklinguistic phenomenamodel limitations
发现论文，激发创造
  • Ling-CL: 通过语言学教学计划理解 NLP 模型

    通过分析多个基准 NLP 数据集，我们的课程学习方法识别到了一系列语言度量（指标），这些指标揭示了每个任务所需的挑战和推理，从而使得我们的工作在所有 NLP 领域中提供了未来研究的参考，并且在研究开发过程中早期考虑了语言复杂性。此外，我们的工作促使 NLP 领域对黄金标准和公平评估进行审视。

    Oct, 2023

  • 语言建模的课程学习

    本研究探讨了使用语言学课程学习法对语言模型预训练的效果，并且在 GLUE 基准测试中评估了转移性能，结果显示我们并未找到令人信服的证据表明课程学习方法可以改善语言模型训练。

    Aug, 2021

  • CLIMB：婴儿启发式模型构建的课程学习

    我们通过三种认知引导的课程学习变体对模型在语言评估任务上的性能进行了分析，并发现在早期训练阶段对词汇、训练实例的顺序和目标任务进行合理选择可以达到一定的改进效果。

    Nov, 2023

  • 端到端自动语音识别新课程标准的比较与分析

    本篇论文探讨了如何通过 Curriculum Learning 使用有组织的训练数据，以提高机器学习模型的性能，并在语音识别领域证明了这一方法的有效性。

    Aug, 2022

  • 基于多视角、基于能力的图神经网络课程学习

    通过引入一种建立在图复杂性规范和模型能力的新方法，本文在课程学习中提出了一种新的视角，该方法通过考虑不同样本困难度和模型能力的观点，在训练过程中推导出有效的课程表，为图神经网络的课程学习研究提供了进一步的发展。实验结果表明了该方法在实际的链接预测和节点分类任务中的有效性。

    Jul, 2023

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022

  • 课程学习的培训动态：单语和跨语言 NLU 的研究

    本研究利用训练动态作为难度指标，对现有的课程学习调度程序进行修改，并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution（OOD）场景下获得更好的性能，提高至多 8.5%。同时，该方法相较于其他难度度量方法更能平滑训练，并且平均速度提高了 20%。

    Oct, 2022

  • 战略数据排序：通过课程学习提升大型语言模型性能

    通过课程学习的数据中心培训策略，根据数据的不同指标进行排序可以提高大型语言模型的性能，而无需增加模型大小或数据集容量，从而解决大型语言模型培训中的可扩展性挑战。

    May, 2024

  • 基于能力的神经机器翻译课程学习

    本文提出了一种基于课程学习的神经机器翻译框架，通过对训练样本进行过滤，提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量，还可以防止模型陷入局部最优解，从而获得更好的性能表现。实验结果表明，该方法可以在保证翻译质量的同时减少训练时间达 70%。

    Mar, 2019