- 学习率自适应的随机梯度下降优化方法：深度学习偏微分方程数值模拟与收敛分析
我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的 SGD 优化方法对于一类简单的二次最小化问题收敛于最小化器。
- 神经网络学习的统一核心
该论文介绍了一种名为 Unified Neural Kernel (UNK) 的方法，用于描述神经网络的学习动态以及参数初始化。通过渐进学习步骤，UNK 核的行为呈现类似于 Neural Tangent Kernel (NTK)，而随着学习 - 神经网络学习与量子引力
用神经网络学习可以发现低能量有效场论的新性质，并可解决多种学习问题，包括插值和多类别分类问题，产生高准确性的结果。
- 具有理论保证的机器学习非凸优化：鲁棒矩阵补全和神经网络学习
本文讲述了解释性学习系统是机器学习的一个新趋势，但由于现实数据是由非线性模型生成的，在研究非凸优化问题时，提供可解释性算法是具有挑战性的，本文研究了两个非凸问题：低秩矩阵补全和神经网络学习。
- 探索深度学习中的专家混合模型
本文研究了 Mixture-of-Experts（MoE）层如何在深度学习中提高神经网络的性能以及为什么混合模型不会崩溃。通过研究困难的分类问题，我们证明了 MoE 模型的有效性，理论上表明路由器可以学习聚类中心特征，帮助将复杂的问题分解为 - 通过模块化和增强改进系统化的泛化能力
本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。
- 神经网络中数据结构对学习的影响建模：隐藏流形模型
本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受 - ICMLmeProp: 稀疏化反向传播，加速深度学习，降低过拟合
通过保留权重矩阵的前 k 个元素并实现前向传播和反向传播来减少计算成本，该方法可以提高神经网络的学习效率并改善其准确性。
- AAAI神经网络训练中对大误差的可调灵敏度
本研究提出了一种改进的交叉熵梯度步骤，该步骤可以用于基于梯度的任何训练方法，并通过控制训练过程对较难的训练样本的敏感度来使用可调感度以帮助神经网络学习，该方法在多个基准数据集上测试后证实了这一点。
- 升级关系神经网络
本文提出了一种结合关系逻辑表示和神经网络学习的方法，通过关系规则和反映给定训练或测试关系实例结构的深层神经网络的组合实现层次关系建模，从而实现对潜在关系概念的学习，该方法在 78 个关系学习基准测试中表现良好。
- 学习去模糊
我们描述了一种基于学习的盲图片去卷积的方法，该方法使用了深层次架构，部分来源于最近关于神经网络学习的工作，部分则包含了特定于图片去卷积的计算。该系统在一组人工生成的训练样例上进行端到端的训练，实现了在盲图片去卷积方面的竞争性表现，无论是在质 - 评估自组织映射可靠性的统计工具
本文介绍了一些工具，用于测试特定自组织映射结果的置信度，测量自组织映射的量化误差和邻域关系，并且这些工具还可以用于客观测量自组织映射与其他神经网络模型相比更不敏感的情况。