- CVPRToSA:用于高效视觉 Transformer 的令牌选择性注意力
本研究提出了一种新颖的令牌选择性注意力方法,即 ToSA,它可以识别需要参与注意力的令牌以及可以跳过变换器层的令牌。通过应用 ToSA,我们能够显著减少计算成本,同时在 ImageNet 分类基准上保持准确性,并在 NYU Depth V2 - 通过稀疏上下文选择加速检索辅助生成的推理
通过引入稀疏技术,Sparse RAG 提出了一种新颖的范式,在提高生成质量的同时减少计算成本,通过并行编码检索文档并选择性地解码输出,既降低了延迟,又提升了模型的焦点和生成质量。
- 远程感知中的设备推理的两阶段检测简化
该论文提出了一种用于两阶段目标检测器的模型简化方法,通过仅使用一个特征提取来减少计算成本,同时通过对 RPN 的得分图应用高通滤波器来弥补精度下降,实验结果显示,在 DOTAv1.5 数据集上我们的方法在计算成本上降低了 61.2%,精度损 - NeuFlow:在边缘设备上实时高精度机器人光流估计
我们提出了一种高效的光流架构 NeuFlow,通过全局到局部的匹配方案,在不同计算平台上显著提高了效率,并成功在小型机器人如无人机上实现了复杂的计算机视觉任务,如实时定位与地图构建(SLAM)。
- 通过方差估计加速锐度感知最小化的有效梯度样本大小
通过采用自适应采样方法基于 PSF 变化的原则,本文提出了一种简单且高效的采样方法,以显著加速模型优化过程中的计算速度,并在广泛的网络架构上实现了与 SAM 相当的最新准确度。
- 贝叶斯优化的泊松过程
基于泊松过程的贝叶斯优化方法,提出了一种基于排名的替代模型。通过两个定制的获取函数,解决了传统方法中的计算成本高和对噪音敏感的问题,并在模拟和真实世界基准测试中证明了其有效性。
- DeepSeekMoE: 迈向极致专业化的混合专家语言模型
在大型语言模型的时代,混合专家模型 (MoE) 在扩大模型参数时管理计算成本方面具有潜力。然而,传统的 MoE 架构(如 GShard)在确保专家专业化方面面临挑战。因此,我们提出了 DeepSeekMoE 架构,旨在实现终极的专家专业化。
- dRG-MEC:面向 MEC 启用的云网络的分散增强绿色卸载
我们提出了一种优化资源利用的技术,实现联合计算卸载以减少总计算和通信开销,并构建一个绿色环境。与基准方案相比,我们的技术将总系统成本减少了 37.03%。
- SpVOS:具有三重稀疏卷积的高效视频目标分割
本文提出了一种名为 SpVOS 的 VOS 稀疏基线方法,通过开发一种新颖的三元稀疏卷积来减少整体 VOS 框架的计算成本,并结合稀疏训练策略对 VOS 分割性能和计算成本进行平衡,实验结果表明 SpVOS 在资源受限场景下具有应用潜力。
- 通过特征偏移调整实现稳定的后门净化
深度神经网络容易受到后门攻击,传统的防御方法存在各种问题。本研究提出了一种基于特征位移调整的后门净化方法,通过调整分类器权重来使得后门特征与正常特征分离,实验结果表明该方法在多种攻击场景下表现稳定,并且具有较低的计算成本。
- 高效基准测试(语言模型)
使用 LM 评估的计算成本的智能减少,提高效率,保证可靠性,从而显著降低计算量并保持基准可靠性,通常减少计算量 100 倍或更多。
- ECCVNSNet:用于高效视频识别的非显著性抑制采样器
该研究提出了一种有效的非显著性抑制网络 (NSNet),该网络可以在硬件计算速度低下的情况下实现高精确度的视频识别。通过在帧级别生成伪标签,并在视频级别上学习时间注意,NSNet 有效地抑制了非关键帧的响应,并取得了显著的时间和效率改进。
- AdderNet:深度学习中真的需要乘法吗?
该论文通过使用 AdderNets,将深度神经网络中的大量乘法转化为更便宜的加法来降低计算成本。通过特殊的反向传播方法和自适应学习率策略,在卷积层中消除任何乘法,以实现更好的性能优化。使用 ResNet-50 在 ImageNet 数据集上 - ICLR高效卷积神经网络中的滤波器裁剪
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-