本文介绍了一种新的基于 Learning Loss 框架的改进学习算法 LearningLoss++，通过对梯度的精确分析和对多尺度特征的结合实现了对数据的更好利用，提升了在人体姿势估计任务中的性能表现。

Apr, 2021

在机器学习领域，传统的正则化方法通常直接将正则化项添加到损失函数中。本文引入了 “Lai 损失”，一种新颖的损失设计，通过直观的几何思想将正则化项（梯度分量）整合到传统的损失函数中。这种设计通过损失函数有效地惩罚梯度向量，有效控制模型的平滑度，同时减少过拟合和避免欠拟合。随后，我们提出了一种随机抽样的方法，成功地解决了在大样本条件下应用该方法所面临的挑战。我们使用 Kaggle 上公开可用的数据集进行了初步实验，证明 Lai 损失的设计可以在确保最大准确性的同时控制模型的平滑度。

May, 2024

在这篇论文中，我们研究了导致人工神经网络在变化的数据分布上训练后旧任务性能迅速下降的表征性变化，并确定了解释这一现象的三个不同过程。最主要的成分是隐藏表征与输出层之间的不对齐，这种不对齐是由于在其他任务上的学习造成的，它导致内部表征发生位移。表征几何在这种不对齐下部分保留，并且只有一小部分信息是无法恢复的。所有类型的表征性变化与隐藏表征的维度成比例。这些洞见对需要不断更新的深度学习应用具有重要的意义，同时也对将人工神经网络模型与相对稳健的生物视觉对齐有帮助。

Oct, 2023

使用新的 LCMat 目标函数，匹配神经网络模型参数空间中原始数据集和减小后的数据集的损失曲率，以提高数据集减小的泛化性能。实验结果表明，LCMat 相较于现有基线算法具有更好的性能。

Mar, 2023

神经网络损失地形的线性模式连接 (或缺乏连接) 是一个有趣的特性，尽管在经验上已经被证实，但还缺乏适当的理论理解。本文通过探讨三个因素（架构、训练策略和底层数据集）对线性模式连接的影响，旨在弥补文献中对当网络展示线性模式连接的系统性研究的不足。我们特别关注最少但非平凡的设置，以尽可能消除不必要的复杂性，并相信我们的观察能够指导未来揭示线性模式连接内部机制的理论研究。

Dec, 2023

本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

Jun, 2020

通过对神经网络训练中损失峰值现象的分析，我们发现一些新的珍贵信息，包括在训练时陷入小的损失梯度区域时损失的不稳定和低频支配第一特征方向偏差等，并发现损失峰值可以促进凝结，从而提高泛化而不仅仅是控制函数的尖锐程度。

May, 2023

本文提出了一种利用非对称二次函数逼近真实损失函数的方法来解决深度神经网络中的灾难性遗忘问题和大规模任务可扩展性问题的连续学习框架，并通过多个挑战性基准数据集的实验结果表明该方法优于现有方法，且可达到接近上限性能。

Aug, 2019

本研究旨在针对连续学习问题，通过使用预训练模型，提出一种基于逐步降低学习率以及分类器对齐的方法，取得了显著性能提升。

Mar, 2023

本文研究了如何选择神经网络的损失函数，提出所有相关的损失函数都会展现神经折叠现象，且实验表明，无论是交叉熵、标签平滑、聚焦损失还是均方误差，只要神经网络足够大，训练充分，使用这些损失函数训练出的网络特征在测试数据上表现几乎相同。

Oct, 2022