本文提出了一种在前馈神经网络中构造矩阵正交化的正交矩形矩阵方法，该方法被称为在多个相关斯蒂费尔流形的优化中进行正交矩阵的构造，并提出了一种新颖的正交权重归一化方法来解决这一问题，并通过实验表明，将正交线性模块用作标准线性模块的替代品可以大大提高最先进网络（Inception和Residual Networks）的性能，特别是在CIFAR和ImageNet数据集上。

Sep, 2017

本文提出了一个理论框架，以理解维度对向量嵌入的影响，并提出了Pairwise Inner Product（PIP）loss，它是一种基于向量嵌入相似度的齐次不变量度量，用于捕捉向量嵌入之间的功能差异和维度的选择偏差-方差权衡问题，并发现了向量嵌入的鲁棒性与前向稳定性，并展开实证研究。

Mar, 2018

采用交替方向乘子法（ADMM）的系统性权值剪枝框架解决了深度神经网络中常见的非凸优化问题和稀疏性约束问题，实现了较快的收敛速度和较优的剪枝效果。

Apr, 2018

通过将线性操作分解为较简单线性操作之和的乘积，我们提出了一种可以减少深度神经网络可训练模型参数数量的通用框架，用于各类神经网络结构，并展示了基于该框架的算法在MNIST和Fashion MNIST数据集上的表现。此外，我们探究了一种新的卷积层变换方法，不再需要卷积操作，这种方法可以任意改变可训练参数数量，并通过使用该框架在MNIST数据集上的实验验证了可用更少的参数获得更高的准确率的优点。

Sep, 2018

本文提出了一种基于可解释性人工智能概念的 CNN 剪枝方法，通过自动寻找最相关的权重或过滤器，不需要人工调节超参数即可高效压缩模型，而且在具有资源约束的情况下表现更优，适用于计算机视觉领域的任务。

Dec, 2019

本文提出了一种名为Prospect Pruning的修剪方法，它通过meta-gradients来确定哪些参数需要被修剪，从而实现在同时保留神经网络准确性的前提下，消耗更少的计算资源并达到最先进的修剪表现。

Feb, 2022

我们提出了一种新颖的层自适应权重剪枝方法，通过优化输出失真最小化并同时遵守目标剪枝比例约束，实现了对深度神经网络 (DNNs) 的优化。我们发现和利用了多个层的权重剪枝导致的输出失真具有非常重要的可加性特性，并基于此特性将剪枝问题建模为一个组合优化问题，并通过动态规划高效解决。我们用子问题分解的方式使问题具有线性时间复杂度，从而使我们的优化算法快速且适用于 CPU 运行。在 ImageNet 和 CIFAR-10 数据集上的广泛实验证明了我们方法的优越性。在 CIFAR-10 上，我们的方法在 ResNet-32、VGG-16 和 DenseNet-121 的 top-1 准确率方面分别超过了其他方法 1.0%、0.5% 和 0.7%。在 ImageNet 上，我们的方法分别比其他方法提高了 VGG-16 和 ResNet-50 的 top-1 准确率高达 4.7% 和 4.6%。这些结果突出了我们的方法通过层自适应权重剪枝来提升 DNN 性能的效果和实用性。代码将在此 https URL 上提供。

Aug, 2023

我们考虑一种重内积识别问题，通过解决这个问题，我们的方法可以加速具有ReLU激活函数的神经网络的训练。

Nov, 2023

本文介绍了快速集中网络（Fast&Focused-Net），它是一种为将小目标高效编码为固定长度特征向量而设计的新型深度神经网络架构。通过引入Volume-wise Dot Product（VDP）层，Fast&Focused-Net解决了传统的卷积神经网络（CNN）中存在的一些局限性，并通过大量实验证据证明了其在小目标分类和文本识别任务中的优越性能。

Jan, 2024

通过加强Tensor Product Representation编码的结构化表示的分解操作，我们提出了一种基于注意力的迭代分解模块(AID)，该模块可以应用于任何基于TPR的模型，并通过输入特征和结构化表示之间的竞争注意机制提供了增强的系统分解，从而显著提高了TPR-based先前工作在一系列系统化泛化任务中的性能。此外，定量和定性评估表明，AID生成的结构化表示更具组合性和良好的结构性，优于其他方法。

Jun, 2024