研究引入了自然神经网络，旨在通过调整内部表示来加速收敛并改善 Fisher 矩阵的条件。使用简单高效的参数重整方式，从而能够保留神经网络的正向传播计算。研究表明，通过提出的投影自然梯度下降算法 (PRONG)，这种神经网络能够高效地训练；研究同时在无监督和监督学习任务上证明了该方法的优点，并通过对大规模 ImageNet Challenge 数据集的训练显示了其可伸缩性。

Jul, 2015

本文研究了如何在神经形态多芯片系统（NMS）上训练概率主题模型，提出了三种算法，一种是批量算法，另外两种是在线算法，使用了新颖的随机优化方法和高效的能量和存储策略，并成功用于 pLSI 和 LDA 训练，结果表明这些算法不仅能够与常规计算机算法相媲美，而且更适合在 NMS 上实现。

Apr, 2018

本文通过在 quasi-recurrent neural networks (QRNNs) 基础上应用剪枝技术来提供一种选择不同操作点的 “旋钮”，并提出一种使用可忽略量的内存恢复一些 perplexity 的简单技术，并在树莓派上考虑 perplexity 和能耗两方面的实证评估，证明了哪种方法能提供最佳的 perplexity - 能耗操作点，其中一种技术能够在一个操作点上相对于现有技术，提供 40％的能量节省和仅 17％的相对 perplexity 增加。

Sep, 2018

介绍了一种模仿生物神经可塑性的新型自然启发式优化算法，在三个数据集上进行了测试，并与梯度下降优化进行了比较。

Apr, 2022

本文介绍了一种基于神经网络和非可微存储器的 Manager-Programmer-Computer 框架，该框架结合了神经网络的深度学习和 Lisp 解释器的机器学习技术，实现了从弱监督到大规模知识库的语义解析，为前沿的符号推理任务提供了有利条件。

Dec, 2016

我们提出了一个名为 NAVER Smart Machine Learning (NSML) 的系统，用于处理机器学习任务中的 GPU 分配、可视化学习状态、处理模型参数快照、超参数修改以及性能指标比较等任务，通过实验确认其能够提升模型开发效率。

Dec, 2017

本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。

Jun, 2012

本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

Apr, 2021

以输入输出样本为基础的黑盒组件，ISED 算法通过学习神经程序的方式来估计深度神经网络参数，其性能与最先进的神经符号框架相媲美，并且在使用先前的工作基线的情况下，以更高的数据和样本效率达到了类似的准确性。

Jun, 2024

本研究提出了一种新颖的神经程序模型（Neural Programmer），该模型扩展了具有少量基本算术和逻辑运算的不可区分神经网络，此模型可以在多个步骤中调用这些扩展操作，因此产生的组成程序比内置操作更复杂。该模型采用相对较弱的监督信号进行训练，不需要昂贵的编写正确程序的注释，经过训练在很复杂的综合表理解数据集中取得了几乎完美的准确度。

Nov, 2015