Oct, 2023

L2T-DLN：学习使用动态损失网络进行教学

PDF
TL;DR此研究论文介绍了使用动态损失函数来指导学生模型训练的教师模型，通过设计带有记忆单元的教师模型，利用教师的经验引导学生学习，并通过动态损失网络利用损失的状态来增强教师和学生模型之间的交互，实验结果证明该方法可以提高学生模型的学习性能和在实际任务中的表现。
teachingdynamic loss functionsteacher modelstudent model learningmemory units
发现论文，激发创造
  • 使用动态损失函数学习教学

    本文探讨了通过动态、自动输出适当损失函数来训练机器学习模型的可能性，并提出了一种高效学习教师模型的方法（称为 “学习动态损失函数的教学”），经过对图像分类和神经机器翻译等任务的广泛实验，证明了该方法显著提高了各种学生模型的质量。

    Oct, 2018

  • 低资源神经机器翻译的动态课程学习

    本研究提出一种动态课程学习方法，通过衡量模型的收益和能力来调整训练样本的顺序，从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明，该方法优于几个强基线，并适用于不同大小的 low-resource 机器翻译基准。

    Nov, 2020

  • 神经网络自动化评分中动态损失函数的有效性

    该研究利用动态损失函数建立基于神经网络和注意机制的自动化作文评分模型，能够避免回归模型预测训练样本均值的欠拟合现象，并在测试集上取得 Quadratic Weighted Kappa 得分 0.752。

    May, 2023

  • 在线损失函数学习

    提出了一种新的在线学习损失函数的方法，通过每次更新底层模型参数进行自适应更新，相比于交叉熵损失函数以及离线学习损失函数技术，在各种神经网络体系结构和数据集上稳定表现更好。

    Jan, 2023

  • 一种统一的元学习框架用于动态迁移学习

    本文研究了一种更为现实和具有挑战性的转移学习设置，其中源任务和目标任务在时间上不断变化，我们提出了一个基于元学习的通用框架 L2E，它能够有效地在动态任务之间传递知识、快速适应新目标任务、减轻历史目标任务的灾难性遗忘，并且可灵活地结合任何现有的静态转移学习算法，验证实验表明该框架的有效性。

    Jul, 2022

  • 神经机器翻译学习动态的理解

    该研究旨在通过使用最新提出的技术 LCA 了解 NMT 的学习动态，提出了一种在 NMT 场景中实现 LCA 的近似方法，模拟实验证明此方法是有效的并能够在两个标准的翻译基准数据集上提供有价值的发现。

    Apr, 2020

  • 使用 T - 批处理进行动态网络表示学习时选择损失函数的影响

    表示学习方法在将离散网络结构转化为连续领域方面为机器学习提供了革命性进展，但是动态网络在时间上的演变带来了新的挑战。我们通过数学分析提出了两种新的损失函数来克服 t-batching 中训练损失函数的局限性，并在合成和真实动态网络上进行了广泛评估，结果一致显示出比原始损失函数更优越的性能，尤其在具有多样的用户交互历史的真实网络中，所提出的损失函数在 Mean Reciprocal Rank（MRR）上实现了超过 26.9% 的增强和 Recall@10 上的超过 11.8% 的改善，这些发现凸显了动态网络建模中所提出的损失函数的功效。

    Aug, 2023

  • 元学习动力语言模型

    本研究探讨了单词级别的语言建模任务，并研究了将基于隐藏状态的短期表示与编码在语言模型的动态权重中的中期表示相结合的可能性。我们将语言建模问题转化为在线学习框架，并通过梯度下降训练元学习器以连续更新语言模型权重，扩展了最近在动态演化权重的语言模型上的实验。

    Mar, 2018

  • 回归主动学习中学习损失的数学分析

    本文介绍了一种新的基于 Learning Loss 框架的改进学习算法 LearningLoss++，通过对梯度的精确分析和对多尺度特征的结合实现了对数据的更好利用，提升了在人体姿势估计任务中的性能表现。

    Apr, 2021

  • 终身教师 - 学生网络学习

    提出了一种基于教师 - 学生网络框架的新型终身学习方法，利用生成对抗网络（GAN）实现教师模块，保留和回放以往学习数据库的概率表示，利用变分自编码器（VAE）实现学生模块，学习捕捉不同领域的连续和离散数据表征，并应用于监督、半监督和无监督培训。

    Jul, 2021