本文介绍了 DataMUX 技术，通过多路复用层和解复用层，深度神经网络可同时处理多个输入，减少内存需求，具有较高吞吐量，可适用于不同的神经网络结构和任务。

Feb, 2022

提出一种名为 MUXConv 的新型卷积神经网络层，旨在提高网络中空间和通道信息的流动以提高精度，与此同时保持计算效率；通过将其集成于一个高效的多目标进化算法中搜索最优模型超参数来证明 MUXConv 的有效性。在 ImageNet 上，MUXNet 几乎与 MobileNetV3 相当，但更加紧凑，且在人物检测和转移学习等情况下表现良好。

Mar, 2020

通过仿生设计的令牌混合器，模拟生物视觉和持续眼动，提出聚合注意力机制（Aggregated Attention），使特征图上的每个令牌具有全局感知能力。同时，结合学习性令牌、卷积 GLU 机制，构建新的视觉主干网络 TransNeXt，实验结果表明其在多个模型尺寸上实现了最先进的性能。

Nov, 2023

提出了一种基于线性注意力机制的混合体系结构 ——Convolutional X-formers for Vision（CXV）。通过将 Quintic Transformer，Nyströmformer 和 Linear Transformer 等线性注意力机制代替二次注意力机制，来减少 GPU 使用。CXV 在有限的数据和 GPU 资源（核心，内存，功率）场景下，比其他的架构如 Token mixers（例如 ConvMixer，Fnet 和 MLP Mixer），变换模型（如 ViT，CCT，CvT 和混合 Xformers）以及 ResNets 等，更适用于图像分类任务。

Jan, 2022

本文介绍 ConvMixer 模型，它使用标准卷积来混合图像块，并在类似参数计数和数据集大小的情况下胜过 ViT、MLP-Mixer 和一些变种，同时也优于经典的 ResNet 等视觉模型。

Jan, 2022

该论文提出了一种用于提高模型推断效率的数据复用方法 - 数据多路复用。此外开发了预训练的多路复用语言模型 MUX-PLMs，通过三阶段训练和新颖的复用和解复用模块来提高吞吐量和下游任务准确性，MUX-BERT 和 MUX- ELECTRA 在维持一定性能准确性的情况下，分别实现了 2x/5x 推断加速。

Feb, 2023

本文介绍一种名为 PruMUX 的新方法，将模型剪枝和数据多路复用方法相结合以提高模型的效率，并通过参数（如稀疏度和复用因子）的综合分析，提出了一种元模型 Auto-PruMUX，可以预测模型剪枝和数据多路复用的高性能参数，以提供一种有效的方法。

May, 2023

ViT-CoMer 是一种纯粹、无需预训练并具有特征增强的 ViT 骨干网络，其通过引入卷积多尺度特征相互作用和 CNN-Transformer 双向融合交互模块，在处理密集预测任务时具有较优的性能。

Mar, 2024

本文提出了一种高效的 ViT 压缩解决方案，该方法基于多头注意力层的新见解开发，可用于获得紧凑的基于注意力的视觉模型，并在图像分类任务中取得比最先进的剪枝方法更高的准确性。

May, 2023

本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技​​​​术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

Mar, 2022