可视化和理解长短期记忆网络的课程学习

Nov, 2016

可视化和理解长短期记忆网络的课程学习

Visualizing and Understanding Curriculum Learning for Long Short-Term Memory Networks

Volkan Cirik, Eduard Hovy, Louis-Philippe Morency

TL;DR本文研究了课程学习对长短期记忆 (LSTM) 网络的影响，其中包括情感分析任务和与自然语言处理中序列预测任务相似的合成任务。实验表明，课程学习对 LSTM 的内部状态有积极影响，可以帮助构建有建设性的表示，特别是在训练数据有限的情况下可以发挥更大的作用。此外，当使用课程学习时，模型的大小也会显著提高。

Abstract

curriculum learning emphasizes the order of training instances in a computational learning setup. The core hypothesis is that simpler instances should be learned early as building blocks to learn more complex ones. Despite its usefulness, it is still unknown how exactly the internal re

curriculum learning long short-term memory networks natural language processing sentiment analysis sequence prediction

发现论文，激发创造

学习执行

在进行短程序评估方面，实验评估了 LSTM 在序列到序列范式中的表现和可学习性，并使用课程学习来提高网络性能，结果表明 LSTM 可以以 99% 的准确率训练生成能够计算两个 9 位数字加法的模型。

Oct, 2014

语言建模的课程学习

本研究探讨了使用语言学课程学习法对语言模型预训练的效果，并且在 GLUE 基准测试中评估了转移性能，结果显示我们并未找到令人信服的证据表明课程学习方法可以改善语言模型训练。

Aug, 2021

深度网络训练中课程学习的威力

本研究分析了课程学习对深度神经网络训练的影响，使用转移学习和自举法解决难度排序问题，以及不同的步伐函数指导采样，并最终证明其有效地修改了优化模型的全局最小解。

Apr, 2019

课程学习：综述

该文介绍了如何通过课程学习来训练机器学习模型，从而提高性能和准确率，并且探讨了如何排序和引入更难的数据，同时提供了未来工作的一些方向。

Jan, 2021

神经机器翻译中课程学习的实证探索

采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

Nov, 2018

神经网络的自动课程学习

本篇论文提出了一种新的方法，通过评估学习进程来自动化选择神经网络学习课程，从而最大化学习效率。通过提供来自学习进展指标的信号以激励非静态多臂赌博机算法来的确定随机教学计划。对于 3 个课程上的 LSTM 网络的实验结果表明，我们的方法可以显著加快学习速度，在某些情况下，将实现令人满意的性能水平所需的时间减半。

Apr, 2017

CLIMB：婴儿启发式模型构建的课程学习

我们通过三种认知引导的课程学习变体对模型在语言评估任务上的性能进行了分析，并发现在早期训练阶段对词汇、训练实例的顺序和目标任务进行合理选择可以达到一定的改进效果。

Nov, 2023

视觉词汇习得的课程化 Q 学习

通过视觉提示将词汇学习个性化，通过强化学习建模评估其适应性，并为代理人的语言学习提供训练方法。

Nov, 2017

战略数据排序：通过课程学习提升大型语言模型性能

通过课程学习的数据中心培训策略，根据数据的不同指标进行排序可以提高大型语言模型的性能，而无需增加模型大小或数据集容量，从而解决大型语言模型培训中的可扩展性挑战。

May, 2024

课程何时奏效？

本文通过实验研究探究按难度排序训练的有效性，发现在标准测试数据集中，curricula 只有微弱的优势，证明其优势完全来自动态的训练集大小，同时发现在有限时间预算或数据存在噪声的情况下，curriculum 学习可以提高性能，而 anti-curriculum 则不能。

Dec, 2020