Oct, 2023

SHARCS: 通过动态宽度子网络进行有效的 Transformer 路由

PDF
TL;DRSHARCS 是一种自适应推理方法，通过考虑输入样本的难度，训练了一个路由器来将不同样本定向到具有不同宽度的子网络，实验证明，SHARCS 在准确性与 FLOPs 方面优于或补充了现有的逐样本自适应推理方法，能够泛化到不同的架构，甚至应用于压缩和高效的 Transformer 编码器以进一步提高其效率，并且能够在几乎不损失准确性的情况下提供 2 倍的推理加速。
sharcsadaptive inferencetransformer networkclassification tasksinference speed up
发现论文，激发创造
  • 可微架构压缩（DARC）

    本文提出一种新的范例叫做 Differentiable ARchitecture Compression (DARC)，这种方法结合了模型压缩和架构搜索的优势从而能够学习出在推理时更加高效的模型，DARC 能够应用于任何神经架构，并在现代卷积神经网络进行图像分类的实验结果表明，对于 CIFAR-10 上的 WideResNet，我们将单样本推理速度提高了 2.28 倍，内存占用降低了 5.64 倍，而准确率没有损失。对于在 ImageNet 数据集上具有 79.15% Top1 准确率的 ResNet，我们提高了 1.29 倍的批量推理速度和 3.57 倍的内存占用，并且仅损失了 1% 的准确率。此外，我们提供了简化的理论 Rademacher 复杂度界限，展示了 DARC 如何在数据过度载入的情况下避免了过度拟合的问题。

    May, 2019

  • 信息路径假说：变形金刚是动态自组织

    提出一种名为 SSA 的训练策略，该策略可以减少自注意力的内存和计算成本，同时提高泛化能力。该策略基于信息通路的假设，该信息通路可以独立训练，并能形成子模型，优于密集型自注意力模型在不同的 NLP，计算机视觉和图形学任务中表现优异。

    Jun, 2023

  • 通过动态路径定制实现图像字幕

    本文探索一种新颖的动态网络以应对视觉和语言任务，其中推理结构针对不同输入动态定制。通过引入基本单元并在空间和通道运算领域分组，以构建丰富的路径空间和提升路径选择效率，我们设计了一个空间 - 通道联合路由器来根据输入样本的空间和通道信息进行路径定制，并在 MS-COCO 数据集上进行实验证明了提出的动态变压器网络的有效性，获得了 Karpathy 分割和在线测试服务器上的最新最佳性能。

    Jun, 2024

  • DS-Net++：用于 CNN 和 Transformers 的高效推理的动态权重切片

    本文提出 DS-Net 和 DS-Net ++，两种基于动态权重分割的动态可裁剪网络。通过改变卷积神经网络 (CNNs) 或变压器 (transformers) 的滤波器数量和维度，以使其适应输入的不同难度水平，从而实现硬件有效的动态推理范式，同时保持网络参数静态和连续存储。与静态和动态模型压缩方法相比，大量实验表明，该方法具有更好的性能 (高达 6.6% 的提升)。

    Sep, 2021

  • TSNet-SAC：利用 Transformer 实现高效任务调度

    提出了一种基于 Transformer 网络的 TSNet-SAC 方案，用于 6G 移动边缘计算机自动驾驶系统中的实时调度和多模数据处理，通过引入幻数算法来指导 TSNet 的训练，以及增强鲁棒性和解决算法缺陷的滑动增强组件（SAC），并设计了 Extender 组件来处理多尺度训练数据和提供网络可扩展性，从而在准确性和鲁棒性上优于现有网络，并实现了与启发式算法相比更优秀的调度决策延迟。

    Jun, 2023

  • SHACIRA: 面向隐式神经表示的可扩展哈希格压缩

    SHACIRA 是一种简单但有效的通用框架，它通过在潜在空间中重参数化特征网格、应用熵正则化实现了对如图像、视频和辐射场等多种领域数据进行高水平压缩，超过了现有的 INR 方法，而无需大型数据集或特定领域的启发式算法。

    Sep, 2023

  • 模块化 Transformer：将 Transformer 压缩为模块化层以进行灵活高效的推理

    本文提出了 Modular Transformers 框架，用于灵活的序列到序列模型压缩，通过模块化编码器 - 解码器并进行知识蒸馏，可以实现灵活的压缩比率从 1.1x 到 6x，并且在保持相对性能不变的情况下，可以根据需要灵活组装模块化层。

    Jun, 2023

  • 通过概率变化改进一次性 NAS 的 ShiftNAS

    本文提出 ShiftNAS，一种基于子网复杂度调整采样概率的方法，通过训练可以直接获取给定计算复杂度所需的最佳模型架构和参数，实验结果表明 ShiftNAS 可以在不增加额外消耗的情况下提高 One-shot NAS 的性能。

    Jul, 2023

  • HyperRouter: 面向稀疏专家混合的高效训练和推理

    通过固定的超网络和可训练嵌入层动态生成路由器参数的方式，HyperRouter 在训练和冻结过程中学习优化路由策略，从而在各项任务上展现出明显的性能提升和效率增益。

    Dec, 2023

  • 使用动态路由提取中间特征以开发可扩展胶囊网络

    该研究提出了一种改进的胶囊网络模型，通过使用动态路由提取中间特征来提高计算速度和精度，同时使用等变特征胶囊替代类特定胶囊以提高网络泛化能力。

    Jul, 2019