研究一种学习针对回归问题的可解释表示的方法，将特征表示为由神经网络中常用的激活函数和其他基本函数组成的多类型表达树的网络。通过梯度下降来训练可微分特征，并利用特征在线性模型中的性能来加权每个表示子组件的变化率。该方法可以产生比梯度提升更小、在 100 个开源回归问题上的平均测试得分更高的表示。
Jul, 2018
通过简单的梯度下降学习算法，在二层 ReLU 神经网络中进行多任务学习，可证明在多任务学习中也发生了特征学习。
Jul, 2023
该研究试图从泛化、优化和可转移性的角度理解神经网络的迁移能力，发现模型的可转移性与目标数据集的相似度、训练阶段以及转移参数的一些特性相关，包括使损失函数更加有利，加快和稳定训练过程。
Sep, 2019
该研究介绍了一种名为特征梯度流的新技术，用于以人类可以理解的特征来解释深度学习模型。该技术通过测量可解释特征与模型的梯度流之间的一致性来评估特定特征对模型的重要性，并通过在损失函数中添加正则项来训练更易解释的神经网络。研究还在从癌症影像存档中的计算机断层扫描数据集中，对头颈癌远处转移的卷积神经网络预测进行了测试。
本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 example-level 与 concept-level 稳健性，并将问题公式化为带有 Wasserstein 模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。
Nov, 2019
通过本地收敛分析，该论文展示了梯度下降通过精心正则化的目标函数在损失降至一定阈值以下后能够捕捉到真实方向，从而证明了特征学习不仅发生在初始梯度步骤，也可能发生在训练结束时。
Jun, 2024
通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。
Nov, 2023
在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。
May, 2024
本文探讨了使用 LSTMs 将优化算法设计转化为学习问题的方法，其中，通过让算法自动地利用感兴趣的问题中的结构，得出的学习算法在针对特定任务时比手动设计的算法表现更好，同时在具有相似结构的新任务上也具有很好的泛化性能，其应用范围从简单的凸问题，到神经网络训练和图像风格化等多种任务。
Jun, 2016
通过分析两层全连接神经网络中梯度下降和岭回归的步骤，证明采用学习率随样本大小增长的训练方法可以引入多个一阶秩分量，分别对应特定的多项式特征，进而改善神经网络的学习效果。
Oct, 2023