本文介绍了一种全局归一化过渡式神经网络模型，其实现了最新的词性标注、依存分析和句子压缩结果，并探讨了全局与局部归一化的重要性。

Mar, 2016

通过迭代式搜索及全局归一化决策的神经网络，提出了可提取答案的问答系统并进行了数据增强及实验优化。

Sep, 2017

本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

Aug, 2017

本研究对语言建模中的自归一化进行了全面的研究，通过理论分析噪声对比估计 (NCE) 语言模型的自归一化特性，与使用显式正则化来自归一化的 softmax-based 方法进行了经验比较，并提出了一种具有吸引力的混合模型。最后，发现自归一化和困惑度之间存在负相关，这一规律为未来改善自归一化算法提供了一定的帮助。

Jun, 2018

文章介绍了一种利用全局归一化卷积神经网络进行实体分类和关系抽取的方法，对线性链条件随机场进行了输出层预测实体类型和实体之间关系的扩展，实验结果表明，全局归一化的性能优于基于局部 softmax 层的性能。

Jul, 2017

本研究提出一种 LSTM 重新参数化的方法，可以将批归一化的优点引入到循环神经网络中，通过对隐层之间的转换进行批归一化，减少时间步长之间的内部协变量漂移，在序列分类、语言建模和问答系统等问题中验证了方法的有效性和实用性。

Mar, 2016

使用字符级别的注意力和事先训练好的子 / 词级别的嵌入向神经网络提供更多语言学信息，而不需要大量的平行语料库，从而帮助神经网络在标准阿拉伯语语言纠错共享任务数据集上实现最先进的 F1 分数。

Sep, 2018

该研究探讨了将批归一化应用于循环神经网络的效果，结果发现在输入到隐藏层的转换中，批归一化可以加快训练收敛速度，但对于语言建模和语音识别任务上的泛化能力没有提高；同时，应用批归一化到 RNNs 比应用到前馈网络更具有挑战性，但是某些变体仍然是有益的。

Oct, 2015

提出了一个更简单、更符合生物学规律的通用归一化算法，可同时解决批归一化的两个主要限制：在线学习和循环学习，并提出了用不同统计矩阶数来进行归一化的 Lp 归一化方法，特别是 L1 归一化，其性能表现良好且计算速度快，更加符合生物学规律，因此非常适合 GPU 或硬件实现。

Oct, 2016

本文提出一种归一化技术 —— 分裂归一化法，包括批归一化和层归一化，并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。

Nov, 2016