May, 2024

快速训练，表现更佳：过参数化模型中的模块自适应训练

PDF
TL;DR通过研究超参数模型的细粒度、模块级的学习动态，本文提出了一种更高效、更有成效的训练策略。实证研究表明，模块的学习质量与其模块神经切线核的主特征值密切相关。在此发现的基础上，提出了模块自适应训练策略，通过选择更新具有超过动态阈值的主特征值，优化模型的学习和性能。实验结果显示，该策略几乎可以减少一半的计算成本，并得到了比基准方法更高的准确性。
over-parameterized modelsmodular-level learning dynamicsmodular neural tangent kernelmodular adaptive trainingcomputational cost
发现论文，激发创造
  • 尝试模块化训练：一种新的模块化 DNN 模型的范式

    该论文提出了一种将模块化融入模型训练过程中来优化训练并使模型具有可重用性的方法，并在卷积神经网络模型上对其进行了评估。

    Jun, 2023

  • 多任务学习中的模块化技能组合

    通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

    Feb, 2022

  • 模块化网络：学习分解神经计算

    本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

    Nov, 2018

  • 神经网络学习中复杂性管理的一种手段：模块化

    提出一种模块化的神经网络设计方法，将神经网络分解为控制模块和多个实现基本操作的功能模块，以提高训练速度、训练稳定性和可维护性，并通过比较整体和模块化神经网络在排序问题上的表现来说明模块化概念，同时讨论了在模块化神经网络中出现的一些问题。

    Feb, 2019

  • 任意少参数足以适应大规模预训练语言模型

    本研究发现模型缩放可以缓解调整方法的设计差异，并使调整方法优化更少的参数以实现全参数微调性能，并探讨了此现象与优化角度的机制，这些结论不仅证明了模型缩放对调整方法的积极影响，还披露了其机制，有助于我们设计更有效和高效的调整方法。

    Jun, 2023

  • 懒人（NTK）和富人（μP）的领域：温和教程

    现代机器学习范式的核心主题是更大的神经网络在各种度量指标上具有更好的性能。本文对这些过参数化模型的理论分析最近集中在研究非常宽的神经网络。我们通过一个非严格但富有说明性的推导，解释了以下事实：为了有效地训练宽网络，在选择学习率和初始权重大小等超参数上只有一个自由度。这个自由度控制训练行为的丰富性：宽网络至少以类似核机器的方式进行懒惰训练，最多则在所谓的 μP 区域表现出特征学习。本文解释了这种丰富性尺度，将最近的研究结果综合为一个连贯的整体，并提供支持我们的论点的实证证据。通过这样做，我们希望进一步研究丰富性尺度，因为它可能是发展实际深度神经网络特征学习的科学理论的关键。

    Apr, 2024

  • 多任务学习的参数高效模块可定制组合

    模块化和可组合的迁移学习是参数高效微调领域的新兴方向，它使神经网络能更好地组织各种知识方面，提高跨任务泛化能力；本文介绍了一种新的方法 Customized Polytropon C-Poly，它结合了任务共同技能和任务特定技能，并使用低秩技术对技能参数进行高度参数化；每个任务关联着可定制数量的专属专业技能，并从与同伴任务共享的技能中受益；共同学习了技能分配矩阵；通过在 Super-NaturalInstructions 和 SuperGLUE 基准上进行广泛实验评估，证明了 C-Poly 优于完全共享，任务特定和技能不可区分的基线方法，显著提高了多任务学习场景下的样本效率。

    Dec, 2023

  • 模块化元学习

    本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。

    Jun, 2018

  • 层次网络的模块化增长：高效、通用、稳健的课程学习

    通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。

    Jun, 2024

  • 神经切向核元学习

    本研究将 MAML 泛化为能够被定义在函数空间内的元学习范式，并提出了在元模型的神经正切核引发的再生核希尔伯特空间（RKHS）中的首个元学习算法，该方法不再需要 MAML 框架中的子优化内循环适应，而是通过在 RKHS 中替换适应性并基于 NTK 理论解析解决适应性。大量实验表明，与相关的元学习算法相比，我们的模型在解决方案的效率和质量方面具有优势，并且比流行基线更具鲁棒性，可以更好地对抗对抗性攻击和分布适应性，这是我们提出方法的另一个有趣特点。

    Feb, 2021