- ICCV细粒度分类城市范围视觉地点识别
本文提出了一种称为 Divide＆Classify（D＆C）的方法，它将视觉场所识别问题作为一个分类问题来解决，以避免相似性搜索所产生的效率问题，并且我们通过基于角度边界的原型学习来实现一种有效的分类器集成方案，并通过使用优化的图像分区方案 - 通过联合设计激活函数进行深度神经网络的快速和私密推断
介绍了一种基于多方计算的机器学习服务（MLaaS）的方法，通过使用多项式逼近替换 ReLU 激活函数和采用单轮 MPC 协议进行评估，实现了在大型模型上快速准确的推理，从而保护客户数据隐私。
- 选择性引导：Guided Diffusion 的所有降噪步骤都重要吗？
本研究旨在优化 Stable Diffusion 引导推理管道，并提示仅计算条件噪声，消除无条件噪声计算，可使目标迭代复杂度降低 50%，实验证明，优化去噪环节的最后 20% 迭代可使推理时间减少 8.2%，并扩展到最后 50% 的优化可使 - 结构稀疏动态稀疏训练
本研究提出了一种基于 DST 方法的 N:M 结构稀疏化学习方案，其具有较高的稀疏度并支持常见的硬件加速方式，在理论和实践中都表现出较好的泛化性能与较低的推理时间。
- DIPNet：图像超分辨率的效率蒸馏与迭代剪枝
文章提出了一个新的多阶段轻量级网络增强方法，利用加强的高分辨率输出作为轻量级学生网络的附加监督，进一步简化网络结构并采用有效的轻量级网络训练策略，实现了在 NTIRE 2023 高效超分辨率挑战赛中的最快推理时间，同时保持竞争力超分辨率性能 - 二进制神经网络中的数据流优化
通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。
- R-TOSS：半结构剪枝实现实时目标检测的框架
本文提出一种名为 R-TOSS 的新型半结构化剪枝框架，可以在不降低检测性能的情况下大幅减少对象检测器的内存使用和计算时间，可以实现可观的压缩和能耗降低并且优于现有剪枝技术。
- ICLRZiCo: 基于梯度变异反比的零样本 NAS
本研究提出了一种新的零 - shot 代理模型（ZiCo），它能够通过预测测试性能来设计最佳神经网络架构，不仅比现有模型表现更好，而且不需要训练，可以在进行神经架构搜索时节省大量时间。此外，通过在 NAS-Benchmarks 基准下的对比 - EMNLP提高零样本文本分类效率的共形预测器
通过使用基于 conformal predictor 的快速基分类器限制潜在的标签数，我们成功地提高了基于交叉编码器的零样本模型的效率，实验结果显示我们可以在性能不降低的情况下，将自然语言推理和下一句话预测的模型推理时间分别降低了 25.6 - 关于引导式扩散模型的精馏
本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。
- 能否更简单地做到这一点？自然语言生成的简单、高效、高质量评估指标
本文探讨了自然语言生成的有效评估指标，以及通过使用轻量级版本的 Transformer 和线性、二次逼近算法来实现评估指标的高效计算，研究发现，TinyBERT 在语义相似性评估指标方面表现最佳，并且在平均推理时间上比原算法要快 5 倍，但 - CVPRMobileOne：一种改进的一毫秒移动骨干网络
通过对多个移动设备上的网络进行部署和分析，提出了有效神经网络的优化瓶颈，设计了一种高效的 MobileOne 神经网络，该网络在 iPhone12 上获得了 1 ms 以下的推断时间，并在性能和速度方面超越了现有的语义分割网络。
- CVPR快速视觉感知的动态查询选择
本文探讨了如何在限制精度降低的同时，通过减少推理情况下的查询数量 Q，进一步提高 Perceivers 的效率，以解决网络复杂度和推理时间的问题。
- 使用增强学习对 Transformer 进行微调实现高效无监督句子压缩
本文利用强化学习和预训练变压器模型，将任务转化为二元序列标注，进一步优化无监督的句子压缩模型，提高推断效率。
- 重新审视面部关键点检测：使用深度神经网络的高效方法
本研究旨在评估迁移学习模型，包括 MobileNetV2 和 NasNetMobile，以及自定义 CNN 体系结构，在模型大小、参数和推理时间方面开发高效的深度学习模型，并研究数据增强和微调对这些模型的影响。MobileNetV2 体系结 - ACLED2LM: 用于更快文档重新排序推理的 Encoder-Decoder 到语言模型
提出使用预训练的 encoder-decoder 模型，通过 document to query generation 来进行重新排名，同时在推理时，将其分解为仅有 decoder 的语言模型以提高推理速度，实验结果表明该方法可以比传统的交 - TangoBERT：使用级联架构以降低推理成本
TangoBERT 是一种分层式的模型架构，能够通过在推理时间内降低计算负载来实现高速推断，并利用常规层级变压器模型的批量大小优化来增加相对推断成本的降低。
- ICMLSPDY：具有加速保证的精确裁剪
SPDY 是一种新的压缩方法，自动确定逐层稀疏度目标并最小化精度损失，从而实现所需的推理加速度，并且在流行的视觉和语言模型上表现良好。
- 效率误解
本文细致探讨了关于模型效率的成本指标，它们的优点和缺点，以及它们如何相互矛盾和导致了不完整的结论、不清晰或不完整的不同模型的实际考虑，进一步提出了改进效率指标报告的建议。
- ABC: 有界记忆力控制的注意力
研究报告探讨了如何提高 Transformer 结构在处理长序列任务时的效率问题，提出了一种称为带有有限存储控制的注意力机制的抽象方法，并实现了学习性的上下文记忆优化，实验证明其可显著提高长序列任务的处理效率。