本文提出了一种名为 NeuralScale 的算法，该算法使用了迭代剪枝方法控制神经网络的大小和参数，进而优化了固定神经网络的结构和配置，经过实验得出，NeuralScale 在参数约束的情况下，与默认配置相比，在 CIFAR10、CIFAR100 和 TinyImageNet 的数据集上分别增加了 3.04％，8.56％和 3.41％的准确性，取得了优异的表现。

Jun, 2020

通过改变神经网络的结构和权重的位数，本文比较了硬件实现中神经网络规模和权重量化对网络性能的影响，提出了在硬件资源有限的情况下，指导网络规模和权重精度平衡的有效压缩比。

Nov, 2016

本文提出一种基于硬件 / 软件协同设计的新的约束贝叶斯优化框架，可以自动识别联合设计空间中的优化点，应用于各种神经模型，改善能量延迟产品的性能。

Oct, 2020

本文提出了新的几何解释，解释了库沃塞蓝计算的现象，将其构建为强普适性水库系统；随机投影所有状态空间系统的家族，以产生 Volterra 级数扩展，生成随机系数的状态仿射水库系统能够通过为每个不同的滤波器训练一个不同的线性输出来近似任何消退存储过滤器类中的元素。

Sep, 2020

本文研究了神经形态计算在两个不同的神经形态结构下，使用进化算法和多目标适应函数来缩小神经网络的体积，并提高其对硬件故障的适应能力。实验结果表明，该策略可以在减小神经网络体积的同时提高其抗故障性能。

Feb, 2020

通过数值实验，我们研究了 Residual 网络的权重性质和与深度有关的规模，在某些网络结构下得到了另一种常微分方程的极限，这表明了深度 ResNets 的极限模型不完全适用于神经正则微分方程。

May, 2021

研究了具有离散权重的人工神经网络中学习过程的优化，提出了一种被称为 “鲁棒集合” 的新量度来抑制被隔离的配置所困住，并分析了稀有但极度密集和可访问的网络配置区域的存在。为解决此问题，提出了一个算法方案来定义目标，并证明了该算法在从驱动分配的稠密状态中提取信息时的有效性。

May, 2016

近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。

Sep, 2023

神经网络的表现在训练时间、数据集大小和模型大小上预测性地提高，这一现象被称为神经缩放定律，而计算最优缩放定律则是将性能作为计算单元函数以选择模型大小来报告的；研究表明，神经网络在训练早期以 $1/ extit {width}$ 的速度收敛到无限宽度动力学，但在后期表现为 $ extit {width}^{-c}$ 的速度，其中 $c$ 取决于架构和任务的结构；此外，理论上显示了由于数据的重复重用，训练和测试损失之间的差距可以随时间逐渐增大。

Feb, 2024

论文概述了统计力学方法在神经网络中的应用，重点讨论了感知器结构、训练误差配置和解空间的平均形状等主题。

Sep, 2023