Oct, 2023

学生如何成为教师：通过谱方法的学习和遗忘

PDF
TL;DR在本研究中，我们通过基于线性信息传递的谱表示的全新优化方案，成功地分离出一种稳定的学生子结构，其在计算神经元、路径分布和拓扑属性方面反映了教师的真实复杂性；当按照优化后的特征值排名修剪训练后的学生的不重要节点时，在达到有效教师规模的阈值以上，观察到性能没有下降，这种行为可以被看作是具有普遍性特征的真正的二阶相变。
teacher-student paradigmoverparameterized networksinvariant subnetworkspectral representationpruning unimportant nodes
发现论文，激发创造
  • 寻找更好的学生学习精炼知识

    本文提出使用 L1 范数优化从教师网络选取子图作为学生来自动搜索最优学生架构进行知识蒸馏，并在 CIFAR 数据集上验证，实验表明相比手动指定学生结构，学习得到的学生模型性能更好，并且对该学生模型进行可视化和理解。

    Jan, 2020

  • 代际知识蒸馏：更具宽容性的教师教育更好的学生

    本文从严格性控制角度研究了深度神经网络的教师网络和学生网络的优化问题。通过针对教师网络训练中的宽松性进行优化，使得学生网络在学习过程中更容易获得跨类别相似性信息，从而在 CIFAR100 和 ILSVRC2012 等数据集的图像分类任务中取得更高的分类准确率。

    May, 2018

  • 从干净输入到嘈杂输入的师生学习

    该论文探讨了基于特征的学生 - 教师学习方法的理论解析和实证研究，在深度神经网络中鉴别出对于学生网络成功的三个关键因素，即学生网络是否训练至零误差、教师网络对于原始输入问题的知识水平、以及教师网络如何将其知识分解到其隐藏特征中。

    Mar, 2021

  • 使用师生模型学习真实数据集的通用特征映射的学习曲线

    本文介绍一种 Gaussian 协变量泛化的 teacher-student 模型，可以在固定特征映射生成的不同空间中进行操作，可以捕捉广泛的现实数据集的学习曲线，并证明了渐近训练损失和泛化误差的严谨公式，讨论了该框架的能力和局限性。

    Feb, 2021

  • 通过特征嵌入学习学生网络

    本文提出了一种基于特征嵌入的新型教师 - 学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师 - 学生模型。

    Dec, 2018

  • 教师 - 学生设置下的两层神经网络随机梯度下降动力学

    在大规模数据训练下，研究了超参数化两层神经网络在教师 - 学生的设置下的动态和表现，证明了 SGD 的一组微分方程可以捕捉到动态，同时揭示了不同激活函数找到的解决方案的不同表现，并发现了对于神经网络的良好泛化，不仅取决于 SGD 的性质，还取决于算法，模型架构和数据集的相互作用。

    Jun, 2019

  • SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

    提出一种基于学生的教师网络训练框架 SoTeacher，通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师 - 学生架构对，并且可以显著、一致地提高学生的性能。

    Jun, 2022

  • 深度学习谱偏差研究

    论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

    Dec, 2019

  • 带有种植模式的 Hopfield 模型：教师 - 学生自监督学习模型

    借助 Boltzmann 机的适当泛化 Hopfield 模型的结构化模式，构建了一个教师 - 学生自我监督学习问题模型，通过研究相图性质以及训练集大小，数据集噪声和推断温度对学习性能的影响，机器可以通过记忆来学习，并实现泛化学习。

    Apr, 2023

  • 光谱神经网络：近似理论与优化景观

    机器学习中的光谱几何信息提取是一种基于传统特征值解算器的大量方法之一，而为了应用于在线大数据场景，研究人员提出了 Spectral Neural Network (SNN) 作为一种替代方法，本文探索了 SNN 的关键理论方面，包括神经元数量和光谱几何信息学习量之间的权衡以及 SNN 的优化过程。

    Oct, 2023