通过即时计算权重扩展自优化模型的规模
自优化模型结合海比学习规则、重复网络重置和编码网络中某个理想目标状态，以解决 SAT 问题中的组合问题，并展示了它在解决难题过程中可能出现的副作用和给人以启发。
Jul, 2023
提出了一种自我改进学习（Self-Improved Learning, SIL）方法，用于提高神经组合优化（neural combinatorial optimization, NCO）的可扩展性，包括有效的模型训练和解决大规模问题实例的线性复杂度注意机制。在旅行推销员问题（Travelling Salesman Problem, TSP）和容量车辆路径问题（Capacitated Vehicle Routing Problem, CVRP）上进行的全面实验证明了该方法的出色可扩展性。
Mar, 2024
本文介绍了 SO-Net，它是一种适用于无序点云的置换不变性架构，通过建立自组织映射（SOM）建模点云的空间分布，通过对点和 SOM 节点进行分层特征提取，最终将输入点云表示为单个特征向量。网络的感受野可以通过点到节点 k 近邻搜索进行系统调整， 在点云重建、分类、对象部分分割和形状检索等识别任务中，我们提出的网络表现出与最先进的方法相似或更好的性能。此外，由于所提出的架构的可并行性和简单性，训练速度显著快于现有点云识别网络。
Mar, 2018
通过引入自相似性作为先验知识的多尺度神经网络框架，我们可以模拟自相似动态系统并提取尺度不变的动力学核，在非平衡系统中发现与理论预期一致的关键指数，从而有助于解决关键相变问题。
Oct, 2023
神经网络的表现在训练时间、数据集大小和模型大小上预测性地提高，这一现象被称为神经缩放定律，而计算最优缩放定律则是将性能作为计算单元函数以选择模型大小来报告的；研究表明，神经网络在训练早期以 $1/ extit {width}$ 的速度收敛到无限宽度动力学，但在后期表现为 $ extit {width}^{-c}$ 的速度，其中 $c$ 取决于架构和任务的结构；此外，理论上显示了由于数据的重复重用，训练和测试损失之间的差距可以随时间逐渐增大。
Feb, 2024
本文研究了神经形态计算在两个不同的神经形态结构下，使用进化算法和多目标适应函数来缩小神经网络的体积，并提高其对硬件故障的适应能力。实验结果表明，该策略可以在减小神经网络体积的同时提高其抗故障性能。
Feb, 2020
最近大型语言模型 (LLM) 代理实现的自动代码生成取得了重要进展，但现有的单代理方法面对生成和改进大规模复杂代码库的限制，该论文提出了自组织多代理框架 (SoA)，这是一种新的多代理框架，能够实现大规模代码的可扩展和高效生成优化。在 SoA 中，自组织代理独立操作以生成和修改代码组件，并无缝协作构建整体代码库，其关键特点是根据问题复杂度自动增加代理数量，从而实现动态可扩展性，使得代码量可以无限增加，而每个代理管理的代码量保持恒定。该论文在 HumanEval 基准上评估了 SoA，并证明与单一代理系统相比，SoA 中的每个代理处理的代码显著减少，但生成的整体代码量大幅增加。此外，SoA 在 Pass@1 准确率方面超过了强大的单代理基准 5%。
Apr, 2024
深度学习模型的发展速度、数据量和模型规模的增加会导致其展示出解决新问题的突然能力，这被称为发生现象。本文提出了一个基于技能的框架，其中每一项新能力都被表示为基函数。我们在这个技能基上解决了一个简单的多线性模型，并得到了与培训时间、数据量、模型规模和最佳计算（C）有关的新能力的出现以及丢失的尺度规律的解析表达式。我们将详细的计算结果与在多任务稀疏奇偶性训练数据上训练的两层神经网络的直接模拟进行了比较，其中数据集的任务分布符合幂律分布。我们的简单模型使用了单一的拟合参数，能够捕捉到神经网络中随着训练时间、数据量或模型规模增加而出现的多个新技能的 S 型发生现象。
Apr, 2024
许多大型网络的连接特性满足幂律分布，这是由于网络持续扩展且新的节点倾向于连接到已经存在的高度连接节点，远超个体系统的特定机制，因此大型网络的发展是受到自组织现象的稳健规律支配的。
Oct, 1999