Oct, 2022

采用动态课程学习提高不平衡文本分类

PDF
TL;DR本文提出了一种新颖的自适应自我学习曲线方法，并使用两种不同的标准来评估样本的难度，通过从简单到困难的自适应速度重新排序和重采样训练数据。在多个分类任务上进行了广泛实验，证明了 SPDCL 的有效性，尤其是对于不平衡的数据集。
pre-trained language modelspriority scheduling strategyself-paced dynamic curriculum learningimbalanced text classificationadaptive learning
发现论文，激发创造
  • 不平衡数据分类的动态课程学习

    该研究提出了一种名为动态课程学习（DCL）的统一框架，可在线自适应地调整采样策略和损失学习，从而提高计算机视觉中人类属性分析任务的表现，实验结果显示 DCL 在面部属性数据集 CelebA 和行人属性数据集 RAP 上得到了新的最优性能。

    Jan, 2019

  • 低资源神经机器翻译的动态课程学习

    本研究提出一种动态课程学习方法，通过衡量模型的收益和能力来调整训练样本的顺序，从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明，该方法优于几个强基线，并适用于不同大小的 low-resource 机器翻译基准。

    Nov, 2020

  • 混合阶 self-paced 策略课程学习用于全局病变检测

    本文提出一种新的混合阶段的自主课程学习（Mo-SCL）方法，通过集成不确定性和损失来更好地在线估计难度，并将易于和困难样本混合在同一个小批次中以适当地缓解困难样本的问题，在医学图像分析任务中（如通用病变检测）获得了成功。

    Feb, 2023

  • 基于数据分布的课程学习

    提出一种名为基于数据分布的课程学习（DDCL）的新型课程学习方法，通过评分方法确定训练样本的顺序，实验证明 DDCL 方法相对于无课程的标准评估，对多个数据集应用时，改善了平均分类准确率，并且通过错误损失分析表明，在单个训练时期，使用 DDCL 方法比无课程方法收敛更快。

    Feb, 2024

  • 课程学习的培训动态：单语和跨语言 NLU 的研究

    本研究利用训练动态作为难度指标，对现有的课程学习调度程序进行修改，并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution（OOD）场景下获得更好的性能，提高至多 8.5%。同时，该方法相较于其他难度度量方法更能平滑训练，并且平均速度提高了 20%。

    Oct, 2022

  • 战略数据排序：通过课程学习提升大型语言模型性能

    通过课程学习的数据中心培训策略，根据数据的不同指标进行排序可以提高大型语言模型的性能，而无需增加模型大小或数据集容量，从而解决大型语言模型培训中的可扩展性挑战。

    May, 2024

  • 通过能力估计进行课程学习的动态数据选择

    本文提出用学习的难度参数代替传统启发式方法， 并通过 Dynamic Data selection for Curriculum Learning via Ability Estimation（DDaCLAE）方法， 在每个训练 epoch 评估模型的能力以选择最佳训练数据。实验证明，使用学得的难度和 / 或能力的模型在 GLUE 分类任务上优于基于启发式的课程学习模型。

    Oct, 2020

  • 课程学习：综述

    该文介绍了如何通过课程学习来训练机器学习模型，从而提高性能和准确率，并且探讨了如何排序和引入更难的数据，同时提供了未来工作的一些方向。

    Jan, 2021

  • 从动态不平衡学习的角度重新考虑逐步学习

    通过数据不平衡的角度来分析深度神经网络在连续学习新概念时容易出现灾难性遗忘问题，提出了一种名为 Uniform Prototype Contrastive Learning (UPCL) 的方法，通过学习均匀且紧凑的特征来解决动态不平衡问题，并通过在多个基准数据集上的实验验证了其在性能上的优越性。

    May, 2024

  • 自破坏式对比学习

    本文提出 Self-Damaging Contrastive Learning (SDCLR) 的概念，通过一个动态的自我竞争模型来平衡长尾数据的表示学习，以实现对无监督训练的快速部署。

    Jun, 2021