神经网络中的半空间特征学习

Apr, 2024

Half-Space Feature Learning in Neural Networks

Mahesh Lorik Yadav, Harish Guruprasad Ramaswamy, Chandrashekar Lakshminarayanan

TL;DR神经网络能够学习复杂的线性特征，通过深层线性门控网络（DLGN）以不同于传统线性网络和 ReLU 网络的方式来实现特征的非线性学习，并通过学习输入空间中包含目标函数平滑区域的半空间来实现特征学习。

Abstract

There currently exist two extreme viewpoints for neural network feature learning -- (i) neural networks simply implement a kernel method (a la NTK) and hence no features are learned (ii) neural networks can repre

neural networks feature learning mixture of experts deep linearly gated network feature visualization

发现论文，激发创造

深层门控网络：深度学习训练和泛化的框架理解

通过深门控网络作为框架，理论分析和实验验证了几种 DGNs 变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

Feb, 2020

深度特征空间：几何视角

本文提出了一种新的方法，用于可视化和理解神经网络输出层之前的向量空间，旨在揭示分类任务下的深层特征向量属性，特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响，并对其进行了真实应用场景的评估，证明了其突出性能优势。

Jun, 2020

基于双层 ReLU 神经网络的可证明多任务表示学习

通过简单的梯度下降学习算法，在二层 ReLU 神经网络中进行多任务学习，可证明在多任务学习中也发生了特征学习。

Jul, 2023

神经网络中的特征学习和泛化：随机特征增强

本文探讨了二层 ReLU 神经网络梯度下降训练过程中的特征学习，研究了使用 XOR 函数生成的带标签二进制数据，对一定比例的训练标签的干扰具有影响。我们证明了线性分类器并不比随机猜测的效果更好，而使用梯度下降训练二层 ReLU 神经网络可以达到接近噪声率的泛化误差。我们提出了一种新的证明技术，证明了在初始化时，绝大多数神经元都具有随机特征的性质，与有用特征之间的相关性较弱，而梯度下降动态将这些弱随机特征 “放大” 为强有用特征。

Feb, 2022

两层神经网络中一次梯度步骤的非线性特征学习理论

通过分析两层全连接神经网络中梯度下降和岭回归的步骤，证明采用学习率随样本大小增长的训练方法可以引入多个一阶秩分量，分别对应特定的多项式特征，进而改善神经网络的学习效果。

Oct, 2023

深度神经网络中特征和懒惰训练的解耦

该论文针对深度学习的 Neural Tangent Kernel 极限和 Mean-Field 极限进行了研究，发现不同的调参可以使得网络在 lazy training 和 feature training 两种状态下表现不同，并提出了一种中间状态下集合平均方法可以提高性能。

Jun, 2019

神经网络中的特征提取机制揭示

我们提出了一种基于神经切向核函数（NTKs）的理论方法来研究神经网络在捕捉精确知识方面的潜在机制，并发现激活函数的选择会影响特征提取，此外我们还发现自注意力模型和 CNN 模型在学习 n 元语法方面的局限性，而基于乘法的模型则在该领域表现出色。我们的研究提供了对大型语言模型基本组件在角色和能力方面的深入理解，从而推动对这些复杂系统的更广泛理解。

Oct, 2023

反向特征校正：深度学习如何进行深度学习

本文研究如何通过层次学习实现深度神经网络对于复杂任务的高效学习，并提出了基于反向特征修正的新原则。在技术上，研究表明使用 SGD 算法的 ω(1) 层神经网络可以在多项式时间复杂度内，并通过表示为二次函数复合的 ω(1) 层来学习满足特定条件的函数类，没有已知的其他算法可在同样时间内实现。

Jan, 2020

深度网络线性区域的训练动态

在这项研究中，我们研究了连续分段仿射深度网络（如带有（渗漏的）ReLU 非线性的网络）训练动态的输入空间划分或线性区域，提出了一种包含了本地复杂性的新统计量，观察到在训练过程中，数据点周围的本地复杂性经历了几个阶段，与深度网络的记忆性和概括性能密切相关。

Oct, 2023

门控线性网络

该论文介绍了一种新的神经网络结构，Gated Linear Networks (GLNs)，其区别于当代神经网络的地方是，其信用分配机制具有分布式和本地化特性；每个神经元都直接预测目标，放弃了学习特征表示的能力，而选择快速在线学习。使用数据相关门控和在线凸优化，个别神经元可以建模非线性函数。该论文证明了该架构在极限情况下具有普遍的学习能力，并且有效的模型容量随着网络大小的增加而增加，与深度 ReLU 网络相似。此外，该论文证明 GLN 学习机制具有非常强的抗遗忘能力，在标准基准测试中表现与带有 dropout 和 Elastic Weight Consolidation 的 MLP 相当。这些理论和实证特性将 GLNs 定位为当代离线深度学习方法的补充技术。

Sep, 2019