该研究论文阐述了对于正则文法的符号间互信息随符号间距离指数衰减的特性，然而对于上下文无关文法则符合幂律分布；并且将该现象与统计力学、湍流以及宇宙膨胀等领域的幂律相关性做了联系，以及阐述了这种现象在机器学习中的潜在应用。除此之外，该研究论文还提出了一种合理的互信息量的量化方式，并探讨了该现象在更复杂的贝叶斯网络中的推广。

Jun, 2016

本文研究了语言模型性能对交叉熵损失计算的经验性规律，发现损失与模型大小、数据集大小和训练所用计算量呈幂律关系，而网络宽度或深度变化对性能影响较小，最优的计算效率可通过训练大型模型、使用适量数据并在达到最佳性能前停止训练来实现。

Jan, 2020

本文研究机器学习中的自回归生成模型和声学模型，探讨其性能和规模之间的比例关系，通过预测各项损失量，建立规模预测和性能选择间的联系，提出了几个调整性能的超参数的方案

Jun, 2021

本文通过对自然语言处理任务的实证研究，发现神经比例定律不仅仅用于模型性能的预测，还可用于模型加速开发、优化模型选型以及模型的收敛调试等方面。

Feb, 2022

研究了混合式语言生成模型的规模特性及其相互作用，提出了新的混合式扩展定律，并发现了四种训练现象和各种相互作用连接。

Jan, 2023

通过研究自监督学习模型，本文展示了模型对语音内部表征与不同方面的关联，以及模型将声学信息转化为语音信号基础的原因动力学的能力，同时发现这种抽象几乎在所有语言中都有重叠，尤其喜欢同一音韵系统的语言。此外，研究还表明使用简单仿射变换，声学到语音的反演能力可以跨发音者、性别、语言和方言传递，显示了这一属性的普适性。这些结果揭示了自监督学习模型内部机制，对其卓越性能至关重要，同时为可解释性和基于语音科学的语言不可知通用语音工程模型开辟了新的方向。

Oct, 2023

基于语音运动学理论，引用Sigma-lognormal模型，提出了一种用于研究、分析和重构复杂语音运动学的简化模型，通过从格式到运动观察的转换，以及实验证实了抽取参数与人的年龄以及动态运动学理论所要求的第一和第二共振峰之间的比例的相关性。

Jan, 2024

本文使用语言模型的扩展性行为来估计目前方法在训练中使用的计算规模下，会产生具有类似基于文本的大型语言模型的英语熟练度的语音语言模型。我们展示了语言模型和大型语言模型的预训练损失与下游句法和语义性能之间存在强相关性，从而导致语言性能的可预测扩展。我们还表明，与基于文本的大型语言模型相比，语音语言模型的语言性能扩展速度慢三个量级。此外，我们研究了旨在提升语义理解的合成数据的益处以及更粗糙的语音分词的影响。

Mar, 2024

通过观测法利用多个已有模型家族构建单一的扩展律，展示了复杂的扩展现象是可预测的，模型性能可以从简单的非代理基准准确预测，预测了后期训练干预的影响。

May, 2024

本文研究了英语和普通话中/b/和/m/的唇收缩轨迹，并发现这种轨迹在语言和语境间普遍表现为位移与速度的瞬时比率遵循指数衰减曲线。文章提出了一个非线性二阶动态系统模型来描述这些轨迹，结果表明该模型可以很好地拟合个体运动轨迹，并为发音运动的动力学提供了新的理论基础，有助于理解声调、运动协调和随机噪声等对发音运动学的影响。

Oct, 2024