时间序列学习策略的课程和周期性损失

Dec, 2023

时间序列学习策略的课程和周期性损失

Curricular and Cyclical Loss for Time Series Learning Strategy

Chenxi Sun, Hongyan Li, Moxian Song, Derun Cai, Shenda Hong

TL;DR我们提出了一种新的 Curricular and CyclicaL loss（CRUCIAL）来学习时间序列，它能根据动态确定的样本贡献和调节损失幅度安排易难程度的学习顺序，同时能够管理循环变化的数据集并通过相关损失分布和选择概率实现自适应循环，实验证明 CRUCIAL 对大多数深度学习模型在学习时间序列时具有益处。

Abstract

time series widely exists in real-world applications and many deep learning models have performed well on it. Current research has shown the importance of learning strategy for models, suggesting that the benefit

time series deep learning models learning strategy curricular and cyclical loss adaptive cycle

发现论文，激发创造

翻转课堂：时间序列预测的有效教学

该研究提出了几种新的课程学习策略，包括随着训练规模增加和迭代规模概率课程，以提高序列到序列模型对混沌时间序列数据的预测准确性。通过在六个混沌时间序列数据集上的实验证明，这些新策略在 NRMSE 方面的性能表现要优于现有的教师强制和自由运行策略。

Oct, 2022

循环课程学习

本文介绍了一种称为周期课程学习（CCL）的人工神经网络训练方法，通过在训练数据集大小方面进行周期性改变，同时使用基本的和课程学习方法，成功地应用于 18 个不同数据集和 15 个架构的图像和文本分类任务上，实现了比现有 CL 方法更好的结果。

Feb, 2022

金融时间序列的无模型控制的课程学习与模仿学习

课程学习和模仿学习在机器人领域得到广泛应用，但对于基于高度随机时间序列数据的控制任务，研究工作较少。本研究通过数据增广实现了课程学习的基本思想，通过策略提炼从模型中学习实现了模仿学习，并发现课程学习可以提高复杂时间序列控制任务的性能，这一发现对于时间序列控制的课程学习非常鼓舞人心。然而，我们发现模仿学习需要谨慎使用。

Nov, 2023

课程学习：综述

该文介绍了如何通过课程学习来训练机器学习模型，从而提高性能和准确率，并且探讨了如何排序和引入更难的数据，同时提供了未来工作的一些方向。

Jan, 2021

CurricularFace: 用于深度人脸识别的自适应课程学习损失

本文提出了一种新的适应性课程学习损失（CurricularFace），通过将课程学习的思想嵌入到损失函数中来实现深度人脸识别的新型训练策略，旨在解决早期训练阶段的简单样本和后期的困难样本。该方法根据样本的难易程度自适应地调整简单和困难样本的相对重要性，在各个阶段分配不同的样本，实验结果表明该方法优于现有竞争对手。

Apr, 2020

课程学习理论与凸损失函数

通过对困难得分和收敛速率的理论分析，研究了以适度难度曲线为基础的课程学习在凸问题中的作用并阐述它与硬数据挖掘的矛盾之处。

Dec, 2018

神经网络的通用循环训练

本研究介绍了以简单的训练开始和结束，在中间轮次进行困难训练的 “通用循环训练” 的原则，并提出了几种训练神经网络的表现形式，包括基于算法、基于数据和基于模型的例子。此外，还介绍了多种新技术和建议更改典型的训练方法，总结出通用循环训练的概念，并探讨了几种应用于训练神经网络的具体方式。

Feb, 2022

面向终身学习训练循环神经网络

本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。

Nov, 2018

循环学习率用于神经网络训练

本文介绍了一种名为 “循环学习率” 的新方法，它可以消除实验找到全局学习率的最佳值和时间表的需要，从而在分类准确度方面取得了提高。此外，本文还描述了一种估算 “合理边界” 的简单方法。该方法可以应用于训练神经网络，并且已在多个数据集和网络结构上进行了实验。

Jun, 2015

使用循环学习率探索损失函数拓扑

通过观测神经网络的的新结果，通过应用循环学习速率（CLR）和线性网络插值，我们探讨了训练残差网络时发现的以前未报告的现象，其行为包括训练损失的反直觉增减和快速训练，如 CLR 即使使用较大的学习速率也能产生更高的测试准确性。

Feb, 2017