此研究论文介绍了使用动态损失函数来指导学生模型训练的教师模型,通过设计带有记忆单元的教师模型,利用教师的经验引导学生学习,并通过动态损失网络利用损失的状态来增强教师和学生模型之间的交互,实验结果证明该方法可以提高学生模型的学习性能和在实际任务中的表现。
Oct, 2023
本文介绍一种名为 “学习教学” 的方法,它利用两个智能代理相互交互:一个学生模型和一个教师模型。教师模型利用学生模型的反馈来优化自己的教学策略,以达到教师和学生的共同进化,并在各种机器学习任务下通过使用深度神经网络等模型来展示这一方法的实用价值。
May, 2018
提出了一种新的在线学习损失函数的方法,通过每次更新底层模型参数进行自适应更新,相比于交叉熵损失函数以及离线学习损失函数技术,在各种神经网络体系结构和数据集上稳定表现更好。
Jan, 2023
探索利用元学习概念来改善性能,尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分,它代表了主要的学习目标,在系统成功优化该目标的能力上进行了量化。
Jun, 2024
该研究利用动态损失函数建立基于神经网络和注意机制的自动化作文评分模型,能够避免回归模型预测训练样本均值的欠拟合现象,并在测试集上取得 Quadratic Weighted Kappa 得分 0.752。
May, 2023
本文提出了一种元学习方法,用于学习参数化损失函数,该方法可以概括不同任务和模型架构之间的关系,从而使训练过程更快速、更强健。我们的元学习框架可以灵活地在元训练时加入额外信息,从而塑造损失函数,避免在元测试时需要提供该信息。
Jun, 2019
本文介绍了一种新的基于 Learning Loss 框架的改进学习算法 LearningLoss++,通过对梯度的精确分析和对多尺度特征的结合实现了对数据的更好利用,提升了在人体姿势估计任务中的性能表现。
Apr, 2021
通过对困难得分和收敛速率的理论分析,研究了以适度难度曲线为基础的课程学习在凸问题中的作用并阐述它与硬数据挖掘的矛盾之处。
Dec, 2018
本文提出了一种用于任务和模型无关的损失函数学习的新型元学习框架,通过混合搜索方法,首先使用遗传编程找到一组符号损失函数,然后对学习到的损失函数进行参数化和优化,实验证明该框架具有多样性与性能,在各种任务和特定神经网络结构上提供了改进的收敛性、样本效率和推理性能。
Mar, 2024
本文提出了一种自动适应的损失函数搜索框架(AutoLoss),其中包括一个控制器网络可以动态调整不同数据样例的损失概率,以提高模型的泛化性和易转移性。实验证明,AutoLoss 比代表性基线表现更好。
Jun, 2021