- 一种用于无监督可变形图像配准的轻量级残差网络
使用改进的卷积神经网络进行体积图像配准，提供增强的感受野，减少参数并在受限的训练数据集上取得与基于 Transformer 方法相当甚至稍好的性能。
- Adapter-X: 一个新颖的面向视觉的普适参数高效微调框架
Adapter-X 是一种新的框架，通过参数共享和动态分配，以及引入特定设计来提高适应性，在更少的参数下优于传统的微调方法。
- CVPRLORS：低秩残差结构用于参数高效网络叠加
通过引入 LOw-rank Residual Structure (LORS) 方法，该研究论文探讨了如何降低深度学习模型的参数数量并提高性能，以在 query-based 目标检测器的堆叠解码器中实现参数节省，实验结果表明该方法能够使模型 - 卷积神经网络用于 JPEG 图像：计算成本研究
通过评估解码和传递图像的计算成本，本文提出了适用于频域的深度模型的手工制作和数据驱动技术，以降低计算复杂性和参数数量，使其与 RGB 基线模型相似，从而实现计算成本和准确性之间的更好权衡。
- ACL多领域神经机器翻译的领域特定子网络
本文提出了领域专属子网（DoSS）方法，利用剪枝技术得到一组掩码，为每个领域定义一个子网络并在领域数据上微调子网络参数，使其性能接近且参数数量大大减少。同时提出了一种使掩码在每个领域中唯一的方法，大大提高了到未知领域的泛化能力。在德语至英语 - CVPR基于多编码器网络的核插值结构参数减少
本研究提出了一种通过删除需要最多参数的层并将其替换成更小的编码器的方法来减少流场无关内核网络的参数数量的技术，以通过强制旋转来使每个编码器从输入图像中学习不同的特征，从而实现比原来的方法更好的性能。
- CVPRMiniViT: 基于权重复用压缩视觉 Transformer
提出 MiniViT 压缩框架，利用权重多路复用和自注意力权重蒸馏相结合，显著减少参数数量，同时在视觉任务中保持高精度，找到解决 Vision Transformer 参数过多的问题的方法。
- ICLR参数高效的多模态变压器用于视频表示学习
本研究针对音视频表示学习中的多模态转换器，通过分解模态特定和模态共享部分，基于低秩逼近提出了一种新的参数共享方案来降低其参数，并提出一种基于 CNN 嵌入空间的实例相似性负采样方法，可以将模型从头开始训练，并通过预先训练的方式在 Kinet - 加载所需：多语言 BERT 的较小版本
本文探讨如何通过减少多语言模型中的词汇量来生成更小且性能相当的模型，研究结果表明，相比蒸馏的方法，此种方法能在保持性能的情况下，将模型总参数减少达 45% 左右。
- IJCAI特征统计指导的高效滤波器剪枝
本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。
- CVPRL3DOC：终身 3D 物体分类
本文提出了一种 Lifelong 3D Object Classification (L3DOC) 框架，该框架通过模拟 “人类学习” 的方式连续学习新的三维物体分类任务，其中核心思想是在生命周期学习的角度上分解 PointNet，同时在层 - 利用低秩变换器实现轻量高效端到端语音识别
本研究提出低秩变压器（LRT）神经网络架构，以实现减少网络参数和提高训练推理速度的目标，进而在端对端语音识别任务上实现更好的泛化性能和更低的错误率。
- ICCV学习卷积神经网络压缩的滤波器基础
本论文提出基于卷积层中滤波器基的卷积神经网络参数数量缩减的方法，通过在多个 CNN 架构上对图像分类和图像超分辨率基准进行实验，结果表明该方法在减少参数和保持精确度方面优于现有技术。
- ICML使用内在结构设计轻量化二层 RBM
通过引入内在结构容量 (Inherent Structure Capacity，ISC) 这一新量来衡量 RBM 的表示能力，我们证明当使用一个或两层 RBM 时，ISC 随着 RBM 中隐藏单元的数量增加而趋于一个有限常数，而两层 RBM - 基于注意力机制的图神经网络半监督学习
本文提出一种使用注意力机制的图神经网络，通过去除中间的全连接层，并结合图结构实现对邻域的动态自适应的总结，从而达到降低参数数量，提高半监督学习效果的目的。
- ICLR彩票假说：寻找稀疏的可训练神经网络
该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的 - AAAI适用于循环神经网络语言模型的瘦身嵌入层
本文介绍了一种通过在 RNN 中的输入和输出嵌入层共享参数来压缩模型参数的方法，实验证明该方法可大幅减小模型参数的大小，但仍能在自然语言处理中保持模型的准确性和性能表现。
- Shift: 一种零 FLOP，零参数的替代空间卷积方法
本文提出一种基于 shift 的操作，用于代替 spatial convolutions 提高神经网络的效率，并在分类、人脸识别、风格迁移等各类领域中取得了不错的表现。
- 使用张量列压缩循环神经网络
本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。
- ICLRLSTM 网络的分解技巧
本文提出利用矩阵因子分解和矩阵划分两种方法来降低参数数量和加速训练大型 LSTM 网络的方法，并成功实现了在参数数量显著减少情况下接近最先进水平的困惑度。