本文研究了针对词序排序问题的不同语言之间的语音翻译的端到端任务。通过提出基于结构的课程学习策略,从简单到复杂的网络结构,引导编码器 - 解码器注意力模型学习这个困难的问题,结果表明与未进行课程学习的方法相比,该方法可以提供显着的改进。
Feb, 2018
该研究提出了一种方法,旨在通过针对对情感识别的深度神经网络(DNN)的训练过程进行有针对性的课程设计来最大化其效率。
May, 2018
本文研究从结构化数据和文本对中选择训练样本以优化 CURRICULUM LEARNING,并提出了一种软编辑距离度量方法,实验表明,该方法能够提高训练速度和性能。
Feb, 2021
本研究提出了一个基于课程学习的预训练方法,旨在通过逐步增加难度的课程来加强编码器的语音特征提取能力,实现端到端的语音翻译,实验结果表明,该方法在 En-De 和 En-Fr 语音翻译基准测试中取得了显著的改进。
Apr, 2020
本文探讨了在神经检索模型训练中,如何通过对训练数据进行智能排序(即通过实行课程学习)来提高检索效率。作者利用大规模数据和会话响应排序任务,研究了如何确定难度以及如何过渡到更难的实例,取得了 2%的性能改进。
Dec, 2019
本文通过两阶段课程训练框架及对六种语言对的全面实验,证明了基于预训练方法和在线评分的确定性评分选择数据子集,对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量(高达 2.2 个 BLEU),并且更快地收敛(更新次数减少了约 50%)。
Mar, 2022
利用端到端无需繁琐操作的口语理解技术,采用基于课程学习(curriculum learning)原理的迁移学习(transfer learning)策略,结合外域数据来构建全神经元架构。本方法在对法语 MEDIA 和 PORTMEDIA 录音数据的实验中表现优异,相比于传统的基于 ASR、POS 标注、词形还原、组块均取器等自然语言处理工具的多管齐下方法,本方法无需进行繁琐的词性、语法处理即可轻松达成目的,同时具备优秀的领域泛化能力。
Jun, 2019
采用概率课程学习方法,可以在不损失翻译质量的前提下,缩短德语 - 英语翻译模型的收敛时间,但具体效果受到样本难度标准、课程表和超参数的影响。
Nov, 2018
该文介绍了如何通过课程学习来训练机器学习模型,从而提高性能和准确率,并且探讨了如何排序和引入更难的数据,同时提供了未来工作的一些方向。
Jan, 2021
本研究探讨了使用语言学课程学习法对语言模型预训练的效果,并且在 GLUE 基准测试中评估了转移性能,结果显示我们并未找到令人信服的证据表明课程学习方法可以改善语言模型训练。
Aug, 2021