通过更一般化的位移操作，显式地学习两个位移算子和低秩分量，设计出一种新的 LDR 矩阵，并证明其在多层神经网络的 VC 维度上具有较好的界限，有效地降低模型复杂度。实验结果表明，该设计可以优于现有的压缩方法，并使用的参数数量比一般非结构化网络少 20 倍以上。
Oct, 2018
本文提出一种简单的方法，通过将中心推理步骤视为矩阵向量积并使用低秩约束，以降低大类结构模型的计算和内存复杂度。使用神经参数化结构模型进行语言建模，多声部音乐建模，无监督语法归纳和视频建模的实验表明，我们的方法与大型状态空间的标准模型具有相同的准确性，同时提供了实际的加速。
Jan, 2022
本文提出了一种多维结构化状态空间（S4）方法来增强语音，将多维的 S4 层进行白化变换以更好地捕捉跨频率轴的频谱依赖性，探索了几种基于 S4 的 T 和 TF 深层结构，其中，在 TF 领域中，与基于卷积层的传统 U 型模型相比，所提出的 S4 模型尺寸缩小了 78.6％，但在数据增强的情况下仍然达到了竞争性结果，具有较好的 PESQ 分数。
Jun, 2023
通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。
Jun, 2024
本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。
Nov, 2019
通过数据驱动的预训练模型压缩方法，我们可以在不牺牲性能的情况下，对大型语言模型进行剪枝，减小模型的规模。
Dec, 2023
本文表明，使用结构化线性分解替换点积卷积中的线性元素不仅更高效，而且还提供了在效率 / 准确性方面的达成帕累托最优的成果。
Jun, 2019
本研究提出一种新型模型，可用于语义分割等任务中，综合多种现有方法，实现了图像分割中非线性输出空间转换，同时保持了现有推理技术的适用性。
Nov, 2018
采用结构化随机正交矩阵的梯度逼近黑盒优化方法可以学习到比标准梯度估算技术更好的紧凑策略，从而提高了在资源有限的实际硬件上的速度和可伸缩性。
Apr, 2018
使用结构化无限秩矩阵 (SURM) 作为适配器和 LoRA 的替代方法的参数高效微调 (PEFT) 可以在减少参数数量的同时显著提高图像分类任务和 GLUE 基准上的质量。