ACLJul, 2023

HuCurl: 人类引导的课程发现

PDF
TL;DR介绍课程发现问题，提出一种能够在课程空间内根据样本难度的先验知识，发现有效课程的课程学习框架。使用注释熵和损失作为难度度量标准，我们发现：（i）对于给定的模型和数据集，顶级发现的课程通常是非单调课程，而不是现有文献中的单调课程，（ii）普遍的易于难或难于易过渡课程往往存在表现不佳的风险，（iii）在较小的数据集和模型上表现良好的课程在较大数据集和模型上表现也很好。该框架包含一些现有的课程学习方法，并可以发现在几个自然语言处理任务上优于它们的课程。
curriculum discoverycurriculum learning frameworksample difficultyannotation entropynlp tasks
发现论文，激发创造
  • 基于分层课程学习的对话回复选择

    本文介绍了一种针对对话回复选择的匹配模型的学习方法，通过逐级加难的层次化课程训练框架对模型进行训练，提高其在识别对话上下文和回复候选之间的匹配线索以及识别二者之间不匹配信息的能力，实验证明该方法显著提高了模型在各项评估指标上的表现。

    Dec, 2020

  • 从简单到困难：面向上下文的文档排名的双重课程学习框架

    该研究提出一种基于课程学习框架的上下文感知文档排名方法，通过逐步调整模型，帮助模型逐渐接近全局最优解，并在两个实际查询日志数据集上取得显著的性能提升，证明了课程学习对于上下文感知的文档排名的有效性。

    Aug, 2022

  • 课程学习：综述

    该文介绍了如何通过课程学习来训练机器学习模型，从而提高性能和准确率，并且探讨了如何排序和引入更难的数据，同时提供了未来工作的一些方向。

    Jan, 2021

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 信息检索的课程学习策略：一个基于对话响应排序的实证研究

    本文探讨了在神经检索模型训练中，如何通过对训练数据进行智能排序（即通过实行课程学习）来提高检索效率。作者利用大规模数据和会话响应排序任务，研究了如何确定难度以及如何过渡到更难的实例，取得了 2％的性能改进。

    Dec, 2019

  • 众包标注数据的语音情感识别课程学习

    该研究提出了一种方法，旨在通过针对对情感识别的深度神经网络（DNN）的训练过程进行有针对性的课程设计来最大化其效率。

    May, 2018

  • 课程学习理论与凸损失函数

    通过对困难得分和收敛速率的理论分析，研究了以适度难度曲线为基础的课程学习在凸问题中的作用并阐述它与硬数据挖掘的矛盾之处。

    Dec, 2018

  • CurricularFace: 用于深度人脸识别的自适应课程学习损失

    本文提出了一种新的适应性课程学习损失（CurricularFace），通过将课程学习的思想嵌入到损失函数中来实现深度人脸识别的新型训练策略，旨在解决早期训练阶段的简单样本和后期的困难样本。该方法根据样本的难易程度自适应地调整简单和困难样本的相对重要性，在各个阶段分配不同的样本，实验结果表明该方法优于现有竞争对手。

    Apr, 2020

  • 开放域答案再排序的训练课程

    本文提出了一种新的策略，学习如何先识别最简单的正确答案，再逐步处理困难情况。应用于神经答案排名器的策略可以帮助构建一个训练课程，并在训练过程中逐渐将难度相对较小的训练样本权重升高，得到大比例的正确答案。与无课程的模型相比，该模型在 MRR 和 P @1 方面可提高 4％和 9％的性能，相当于更昂贵的最先进技术的性能水平相当。

    Apr, 2020

  • 基于能力的神经机器翻译课程学习

    本文提出了一种基于课程学习的神经机器翻译框架，通过对训练样本进行过滤，提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量，还可以防止模型陷入局部最优解，从而获得更好的性能表现。实验结果表明，该方法可以在保证翻译质量的同时减少训练时间达 70%。

    Mar, 2019