本文旨在探讨深度神经网络（DNNs）的学习轨迹与其在广泛使用的梯度下降和随机梯度下降算法优化时的相应泛化能力之间的关系。作者构建了线性逼近函数以建立轨迹信息模型，并基于其提出一种新的、基于更丰富轨迹信息的泛化界限。实验结果表明，所提出的方法能够有效地捕捉到不同训练步骤、学习率和标签噪声水平下的泛化趋势。

Apr, 2023

通过 Meta-Experience Replay 算法，在经验回放的基础上进行基于元学习的优化，实现了对未来渐变更少的干扰和更多的知识迁移。在多个领域的实验中，该方法优于目前的基准算法。

Oct, 2018

本文提出了一种数据集蒸馏的方法，通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率，并提出代表性初始化、均衡内环损失和权重摄动等增强策略，以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明，该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。

Oct, 2023

通过对目标函数进行简单的转换和利用 MCT （Matching Convexified Trajectory）方法，研究论文发现 MTT 方法存在的三个主要问题：Stochastic Gradient Descent（SGD）生成的专家轨迹不稳定，提取过程的收敛速度慢以及专家轨迹的存储消耗高，并提出了一种能够快速且稳定地引导学生网络收敛的方法。实验结果显示，MCT 方法在三个公共数据集上相较于传统的 MTT 方法具有优越性。

Jun, 2024

本研究提出了一种基于小数据集的迭代式自传递学习方法，通过深度适应网络和伪标签策略的耦合，建立对应的数据集，实现针对小数据集的神经网络训练，并选取复杂构件进行案例研究，结果表明该方法能够在不需要外部标记样本、良好预训练模型、额外人工标记和复杂物理 / 数学分析的情况下，将模型性能提高了近一个数量级。

Jun, 2023

提出了一种新颖的可传递图神经网络（T-GNN）框架，该框架在统一框架中联合进行轨迹预测和域对齐。 结果表明所提出的方法对于解决不同轨迹域之间的差异具有优越的性能。

Mar, 2022

本研究提出了一种新的转移学习方法，利用网络聚合解决深层神经网络领域偏移问题和之前学习知识的灾难性遗忘问题。我们证明了所提出的方法在测试时不需要任何额外训练步骤即可学习模型聚合，减轻了转移学习的负担。

Jun, 2022

本文提出了一种基于优化算法的 Flat Trajectory Distillation（FTD）方法来缓解 distortion 和 subsequent evaluation 之间的累积轨迹误差，实验证明该方法可提高梯度匹配方法的性能，并适用于神经架构搜索。

Nov, 2022

通过在元学习中应用参数传递的方法，对参数传递算法中的隐私问题进行研究，提出一种新的差分隐私算法，并在联邦学习和少样本分类领域表现出了很好的性能。

Sep, 2019

本研究提供了一种新的算法，使用合成数据集优化网络，可以快速、高效地将神经网络训练到与真实数据相似的状态，从而实现数据集精简化处理，并能够处理高分辨率视觉数据。

Mar, 2022