本文提出了一种新的深度完全连接神经网络模块，由对角矩阵和离散余弦变换组成，并说明了如何将 ACDC 层级联近似于线性层，实验表明可成功地与卷积神经网络相结合，同时提出了该模块与傅里叶光学的联系。

Nov, 2015

AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

Jun, 2020

深度学习模型 DynaLay 通过自适应地选择最合适的层数来处理每个输入，从而使模型具有独特的内省能力，优化了性能和效率，并同时显著降低计算需求。

Dec, 2023

本文提出一种自适应的维度调整 Tucker 分解网络压缩方法（ADA-Tucker）和其扩展模型 Shared Core ADA-Tucker（SCADA-Tucker），通过学习的核心张量和转换矩阵，实现对高维张量的分解，以及在无需记录非零元素索引的情况下，使 LeNet-5 和 LeNet-300 的存储分别降低了 691 倍和 233 倍，进一步在其他三个基准测试（CIFAR-10，SVHN，ILSVRC12）和现代深度网络（ResNet，Wide-ResNet）上获得了良好的效果。

Jun, 2019

提出一种名为 DIA 的注意力网络单元，该单元在不同的神经网络层之间共享单个注意力模块，从而在各种视觉任务中提高了现有自我注意力模块的准确性，并且具有强大的正则化能力，能够通过增强层间信息交流和梯度值有效地恢复和提高其训练不稳定性。

Oct, 2022

本文提出一种深度神经网络 Differentiable Linearized ADMM (D-LADMM)，用于求解具有线性约束的问题，并证明该方法是可收敛的，同时也是第一个在约束问题上提供收敛性分析的学习优化方法。

May, 2019

本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

Jul, 2021

本文介绍了一种使用受限神经网络架构来实现计算涉及到维度导数的微分算子的方法，改进了反向传播计算图，使其可以实现有效提取维度导数。该方法在一些应用场景中具有较低的复杂度，包括计算流体力学中的发散度、连续正规化流的精确密度计算以及训练随机微分方程模型中的 Fokker–Planck 方程求解。

Dec, 2019

本文提出了 PermDNN，一种新的方法来生成和执行硬件友好的结构稀疏 DNN 模型，使用置换对角线矩阵。与当前方法相比，PermDNN 具有更好的压缩效果、灵活的压缩比、简单的算术计算和全利用输入稀疏性的优势，并取得了更高的吞吐量和更好的能量效率。

Apr, 2020

本文提出 Dense-and-Implicit-Attention (DIA) unit，其可通过共享单一的注意力模块，在网络不同层次间促进信息整合。实验表明，由 DIA-LSTM 组成的 DIA 单元能够强调层与层之间的特征相互关系，并可提高图像分类准确性；此外，还证明 DIA-LSTM 对于深度网络的训练具有强大的正则化能力。

May, 2019