通过引入自相似性作为先验知识的多尺度神经网络框架，我们可以模拟自相似动态系统并提取尺度不变的动力学核，在非平衡系统中发现与理论预期一致的关键指数，从而有助于解决关键相变问题。

Oct, 2023

本研究设计出一种新型隐式算子 Neural Collages，用于自相似性的学习和压缩，并展示了它在分形艺术和深度生成模型中的应用。

Apr, 2022

本研究以人类物理推理过程为模板，建立了一种神经网络架构，旨在通过表示学习的方式，使神经网络在实验数据的基础上为科学发现提供更具一般性的工具，并在玩具实例中应用该方法，得出相应结论。

Jul, 2018

本文的重点是将物理约束嵌入神经网络的结构中，以解决神经网络在物理应用中缺乏可解释性和物理不可知设计的问题，通过限制可调参数并添加特殊层，保证所需约束不需要显式正则化项即可满足，为解决函数的奇偶对称性和能量守恒问题提出了监督和非监督网络，并提出了一种嵌入所谓辛结构的无监督神经网络解决系统的守恒微分方程，表现出比非辛神经网络更好的性能。

Apr, 2019

本文介绍了一种自我监督的混合网络，将传统的神经网络元素与解析或数值模型相结合，利用内部表示相当于物理模型的参数，进行无监督学习并进行物理参数的估计。同时应用于指数光轮廓的二维模型拟合学习。

Jul, 2019

深度学习模型的发展速度、数据量和模型规模的增加会导致其展示出解决新问题的突然能力，这被称为发生现象。本文提出了一个基于技能的框架，其中每一项新能力都被表示为基函数。我们在这个技能基上解决了一个简单的多线性模型，并得到了与培训时间、数据量、模型规模和最佳计算（C）有关的新能力的出现以及丢失的尺度规律的解析表达式。我们将详细的计算结果与在多任务稀疏奇偶性训练数据上训练的两层神经网络的直接模拟进行了比较，其中数据集的任务分布符合幂律分布。我们的简单模型使用了单一的拟合参数，能够捕捉到神经网络中随着训练时间、数据量或模型规模增加而出现的多个新技能的 S 型发生现象。

Apr, 2024

本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

Aug, 2016

神经网络的表现在训练时间、数据集大小和模型大小上预测性地提高，这一现象被称为神经缩放定律，而计算最优缩放定律则是将性能作为计算单元函数以选择模型大小来报告的；研究表明，神经网络在训练早期以 $1/ extit {width}$ 的速度收敛到无限宽度动力学，但在后期表现为 $ extit {width}^{-c}$ 的速度，其中 $c$ 取决于架构和任务的结构；此外，理论上显示了由于数据的重复重用，训练和测试损失之间的差距可以随时间逐渐增大。

Feb, 2024

使用基于数据驱动的动态系统理论的最新进展和一种新的相似度度量方法，我们能够比较两个递归神经网络并识别它们之间的动态结构，同时能以无监督的方式区分学习规则。

Jun, 2023

提出了一种新的神经网络相似性计算方法，采用特征向量和梯度向量作为模型表示，结合快速绘图技术可以高效地比较不同数据集中神经网络的相似性。

Mar, 2020