TKIL：基于正切核的类平衡增量学习方法
通过对 FSCIL 中神经切向核（NTK）的基本理论研究，我们设计出一种元学习机制，用数学原理来指导扩展网络内的优化过程，确保全局最优的 NTK 收敛和与 NTK 相关的泛化误差，从而提高网络的基础泛化能力。通过自我监督的预训练、课程对齐和对卷积层和线性层定制的双重 NTK 正则化等方法的综合效果，我们的网络在主流的 FSCIL 基准数据集上优于目前最先进的方法，将最终准确率提升了 2.9% 至 8.7%。
Mar, 2024
该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了 150 倍的速度。
Jun, 2021
使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。
Jul, 2020
本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。
Jun, 2018
该研究表明：(a) 在无穷宽度神经网络 (NNs) 上应用 l2 损失 (通过梯度下降法) 训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核 (NTK) 的核回归是相等的。在此基础上，对 NTK 进行高效计算的算法已被提出，表明 NTK 在低数据任务上表现良好。
Oct, 2019
本文提出了基于分类法系列的 Taxonomic Class Incremental Learning (TCIL) 问题，通过参数继承实现了知识的增量传递，实验证明 TCIL 方法在 CIFAR-100 和 ImageNet-100 上均优于 SOTA 方法。
Apr, 2023
本文研究了有关深度学习的两个问题：对抗攻击与深度学习的泛化能力。以 Neural Tangent Kernel（NTK）为主要理论，探究有限宽度下的 kernel learning 与 lazy training，结果表明标准训练与对抗训练会有不同的 NTK，最终可以得到一个在 CIFAR-10 数据集上具有 76.1% 鲁棒性的分类器。
Oct, 2022
通过对先前流派中分类分数导致偏差的原因进行系统分析，我们提出了一种称为 Separate softmax for incremental learning (SS-IL) 的新方法，它由分离的 softmax (SS) 输出层和面向任务的知识蒸馏 (TKD) 组成，以解决诸如数据失衡等问题，从而在多个大规模 CIL 基准数据集上实现了强大的最新结果。
Mar, 2020