本文探讨了二层 ReLU 神经网络梯度下降训练过程中的特征学习，研究了使用 XOR 函数生成的带标签二进制数据，对一定比例的训练标签的干扰具有影响。我们证明了线性分类器并不比随机猜测的效果更好，而使用梯度下降训练二层 ReLU 神经网络可以达到接近噪声率的泛化误差。我们提出了一种新的证明技术，证明了在初始化时，绝大多数神经元都具有随机特征的性质，与有用特征之间的相关性较弱，而梯度下降动态将这些弱随机特征 “放大” 为强有用特征。

Feb, 2022

通过研究具有一个隐藏层的网络的学习动态，我们发现网络的激活函数对于表示几何的影响强于预期：Tanh 网络倾向于学习反映目标输出结构的表示，而 ReLU 网络保留了更多关于原始输入结构的信息。这种差异在广泛的参数化任务中一直存在，我们在这些任务中调节任务输入的几何与任务标签的对齐程度。我们通过分析权重空间中的学习动态，说明了 Tanh 和 ReLU 非线性网络之间的差异是由于 ReLU 的非对称渐近行为导致的，这导致特征神经元专门针对输入空间的不同区域。相比之下，Tanh 网络中的特征神经元倾向于继承任务标签结构。因此，当目标输出是低维时，Tanh 网络生成的神经表示比采用 ReLU 非线性的表示更具解耦性。我们的发现揭示了神经网络中输入输出几何、非线性和学习表示之间的相互作用。

Jan, 2024

本文研究了三层神经网络在特征学习方面的优势，证明了其比两层神经网络具有更丰富的特征学习能力，并提出了一个通用的定理，以限定实现低测试误差所需的样本复杂度和宽度。

May, 2023

讨论了一般从多个任务中学习数据表示的方法，并在多任务学习和学习到学习的两种情况下对此方法进行了理论上的证明。我们通过线性特征学习的特例对方法进行详细说明，并建立起多任务表示学习在独立任务学习上的理论优势的条件，特别是针对重要的半空间学习的例子，我们推导出了多任务表示学习在独立任务学习上的优势随样本数量、任务数量和固有数据维度的函数关系，其他潜在应用包括在再现核希尔伯特空间和多层深度网络中进行多任务特征学习。

May, 2015

研究神经网络对回归问题的解决方法，针对两层 ReLU 网络探索了梯度优化引起偏差的一些现象，提出了一种新的支持度计算方法，得出实验证据，阐述了广义梯度下降和平方损失函数在训练中的优化困难。

Nov, 2022

本文探讨了超参数神经网络中大于两层的隐式偏差。通过添加线性层，可以优化神经网络的表示成本，并提高实际子空间的准确匹配度与预测性能。

May, 2023

通过分析两层全连接神经网络中梯度下降和岭回归的步骤，证明采用学习率随样本大小增长的训练方法可以引入多个一阶秩分量，分别对应特定的多项式特征，进而改善神经网络的学习效果。

Oct, 2023

本文提出了基于张量正则先验的多线性关系网络 (Multilinear Relationship Networks, MRN)，通过同时学习可转移的特征和任务和特征的多线性关系，发现了深度卷积网络中多个任务特定层参数张量上的任务关系，并解决了特征层中负迁移和分类器层下迁移的困境，实验证明 MRN 在三个多任务学习数据集上的效果优于现有方法。

Jun, 2015

提出一种终身学习算法，通过维护和完善内部特征表示，使前面学习所得的知识能够迁移并应用于接下来的学习任务中，从而提高样本利用效率，并通过实验证明，与现有的终身学习方法相比具有更高的效率。

Oct, 2021

神经网络理论分析不足，该研究提出了一个基于梯度的特征学习分析框架，应用于混合高斯函数和奇偶函数等问题，并揭示了网络学习现象与特征学习的关系。

Oct, 2023