EMNLPOct, 2020

通过能力估计进行课程学习的动态数据选择

PDF
TL;DR本文提出用学习的难度参数代替传统启发式方法， 并通过 Dynamic Data selection for Curriculum Learning via Ability Estimation（DDaCLAE）方法， 在每个训练 epoch 评估模型的能力以选择最佳训练数据。实验证明，使用学得的难度和 / 或能力的模型在 GLUE 分类任务上优于基于启发式的课程学习模型。
curriculum learningdifficulty parametersdynamic data selectionglue classificationmodel ability
发现论文，激发创造
  • 不平衡数据分类的动态课程学习

    该研究提出了一种名为动态课程学习（DCL）的统一框架，可在线自适应地调整采样策略和损失学习，从而提高计算机视觉中人类属性分析任务的表现，实验结果显示 DCL 在面部属性数据集 CelebA 和行人属性数据集 RAP 上得到了新的最优性能。

    Jan, 2019

  • 低资源神经机器翻译的动态课程学习

    本研究提出一种动态课程学习方法，通过衡量模型的收益和能力来调整训练样本的顺序，从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明，该方法优于几个强基线，并适用于不同大小的 low-resource 机器翻译基准。

    Nov, 2020

  • 基于数据分布的课程学习

    提出一种名为基于数据分布的课程学习（DDCL）的新型课程学习方法，通过评分方法确定训练样本的顺序，实验证明 DDCL 方法相对于无课程的标准评估，对多个数据集应用时，改善了平均分类准确率，并且通过错误损失分析表明，在单个训练时期，使用 DDCL 方法比无课程方法收敛更快。

    Feb, 2024

  • 连续情感预测的动态困难感知训练

    本文提出了一种名为 DDAT 的机器学习框架，通过利用神经网络的难度信息来提升学习过程的效率，对比实验表明，该框架在时间连续情感预测方面的表现优于其他模型。

    Sep, 2018

  • 采用动态课程学习提高不平衡文本分类

    本文提出了一种新颖的自适应自我学习曲线方法，并使用两种不同的标准来评估样本的难度，通过从简单到困难的自适应速度重新排序和重采样训练数据。在多个分类任务上进行了广泛实验，证明了 SPDCL 的有效性，尤其是对于不平衡的数据集。

    Oct, 2022

  • 有效课程学习中改进数据增强以提升鲁棒视觉问答

    通过引入有效课程学习策略（ECL）来提高基于数据增强的视觉问答（VQA）方法，以缓解语言偏见，并通过生成额外的训练样本超出原始样本帮助消除偏见。与整个增强数据集的训练相比，我们的 ECL 策略可以通过使用更少的训练样本来进一步提高 VQA 模型的性能。

    Jan, 2024

  • 基于精度的课程学习在深度强化学习中的应用

    本文研究了一种基于精度要求自适应选择的自动课程学习的新形式。使用基于 Deep Deterministic Policy Gradient 算法的强化学习代理和解决 Reacher 环境，我们首先展示了随机采样不同精度要求训练的代理比一直很精确的代理学习更加高效；然后，我们展示了基于局部能力进度的自适应精度要求选择可以自动生成一个难度不断递增的课程，从而提高学习效率。

    Jun, 2018

  • 让模型为多任务学习决定其课程

    通过基于模型的方法计算难度分数，将训练实例分成两个类别：数据集层次和实例层次。通过实验，发现难度分数分别为实例层次和数据集层次，相对于各自的基线，平均性能提高了 4.17％和 3.15％，并且大多数的提高来自于正确应对困难实例，这个策略具有更好的效力。

    May, 2022

  • 课程学习的培训动态：单语和跨语言 NLU 的研究

    本研究利用训练动态作为难度指标，对现有的课程学习调度程序进行修改，并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution（OOD）场景下获得更好的性能，提高至多 8.5%。同时，该方法相较于其他难度度量方法更能平滑训练，并且平均速度提高了 20%。

    Oct, 2022

  • 稠密检索蒸馏的课程学习

    本研究提出了一种基于课程学习的优化框架 CL-DRD，通过控制先前重排（教师）模型产生的训练数据难度级别来优化稠密检索（学生）模型，在三个公共语段检索数据集上的实验证明了该框架的有效性。

    Apr, 2022