借助加权稀疏投影和输入屏蔽提供量化能量消耗保证的第一个端到端深度神经网络 (DNN) 训练框架，将 DNN 训练作为优化问题，以能量预算为约束条件，将定量 DNN 能量估计集成到 DNN 训练流程中，证明有效的近似算法可以用来高效地解决优化问题。与最好的先前节能方法相比，我们的框架在相同或更低的能量预算下训练出提供更高准确性的 DNN。

Jun, 2018

AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

Jun, 2020

介绍了一种新的并行训练框架，Ensemble-Compression（简称 EC-DNN），该框架使用集成学习的方法来聚合本地模型，解决了参数平均方法在非凸模型上的问题，通过蒸馏方法进行压缩，实验结果表明 EC-DNN 具有许多优势。

Jun, 2016

使用能量耗散网络在深度学习中提出了迭代计算下降方向以实现图像重构、特别是对噪声图像进行去模糊，超分辨率和医学图像中来实现。经实验证明，它可以控制网络在推断时遵循数据形成模型，并且它在单幅图像超分辨率和计算机成像重构上取得了良好效果，并进一步扩展到凸可行性问题。

Apr, 2019

通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

Dec, 2023

本文主要介绍了一种基于极低位神经网络，将离散约束优化问题分解成几个子问题，并结合了交替方向乘子法和迭代量化算法来加速优化过程的算法。实验证明该算法比现有技术更适用于极低位神经网络的图像识别和目标检测任务。

Jul, 2017

该论文提出 CirCNN，一种使用块循环矩阵表示权重和处理神经网络的基于 FFT 快速乘法的方法，能够从 O（n2）减少计算复杂度并降低存储复杂度，同时保持准确性，并在 FPGA、ASIC 和嵌入式处理器上实现出较高的能效和性能表现。

Aug, 2017

通过对 CIFAR-10 和 CIFAR-100 数据集的实验，我们的工作首次探索了 EBMs 对自然损坏和对抗攻击的稳健性，结果表明 EBMs 在白盒攻击、黑盒攻击和自然扰动方面的稳健性与经过对抗训练的 DNNs 相当，而无需牺牲清晰度准确性或使用额外的训练技术。

Jan, 2024

我们提出了一种专门用于深度神经网络（DNNs）的随机一阶优化方法 ECCO-DNN，该方法将优化变量轨迹建模为动力系统，并开发了一种离散化算法，根据轨迹的形状自适应选择步长。该方法提供了两个关键启示：快速连续时间收敛的动力系统设计和根据数值积分和神经网络结构原则自适应选择步长的时间步进算法，其结果是一种优化器，对于超参数变化不敏感，并且在性能上达到与 ADAM、SGD、RMSProp 和 AdaGrad 等最先进的优化器相当。我们在训练 DNN 模型和数据集（包括 CIFAR-10 和 CIFAR-100）中演示了这一点，并发现使用 ECCO-DNN 进行训练时，ECCO-DNN 的单一超参数可以改变三个数量级，而不会影响训练模型的准确性。ECCO-DNN 的不敏感性减少了超参数调优所需的数据和计算量，使其在快速原型设计和使用新数据集的应用中具有优势。为了验证我们所提出的优化器的有效性，我们使用 ECCO-DNN 在家庭功耗数据集上训练了一个 LSTM 架构，并在不调整超参数的情况下实现了最佳均方误差。

Oct, 2023

本研究基于能量守恒下降理论，通过引入 ECDSep 优化算法，提出一种新的基于梯度求解凸优化问题和非凸优化问题的方法，该方法基于混沌能量守恒的动力学系统，并能够在不依赖于对称性的高维问题中控制优化结果的分布，本文在大量机器学习问题上比较了该方法和一些流行的优化算法，发现在各个任务中均能达到竞争或更好的性能。

Jun, 2023