- ACL稀疏蒸馏：使用更大的学生模型加速文本分类
将最先进的 Transformer 模型转化为轻量级的 Student 模型是减少推理时间中计算成本的一种有效方法。本文进一步将 Teacher 模型提炼出更大、稀疏的 Student 模型，并在单句文本分类任务中表明，这些 Student - EMNLP这个问题会被回答吗？通过答案模型蒸馏进行问题过滤以实现更高效的问答
本文提出了一种新方法，通过筛选不会被回答的问题来提高问答系统的效率，这基于一个有趣的新发现：基于最先进的问答系统的答案置信度分数可以用仅使用输入问题文本的模型很好地逼近，这使得非答案置信度分数低于系统阈值的问题可以进行预先拦截。
- ICMLPonderNet: 学习思考
PonderNet is a new algorithm that adapts the amount of computation for neural networks based on the complexity of the pr - ICMLZoo-Tuning：来自模型动物园的自适应迁移学习
Zoo-Tuning 是一种自适应迁移学习的方法，将预训练模型的参数自适应地聚合到目标模型中以提高知识转移，减少计算和存储成本，并在多种任务中进行了评估。
- 自适应聚合变压器进行端到端物体检测
本文提出了一种名为自适应聚类变换器（ACT）的新型变换器，通过局部敏感哈希（LSH）自适应地聚类查询特征，使用样本 - 键交互来近似查询 - 键交互，将原本二次复杂度的 self-attention 减少到每层中的原型数量 K 的 O（NK - DyNet: 动态卷积加速卷积神经网络
本文研究了如何提高卷积神经网络的效率，提出了一种基于动态卷积方法的新型卷积操作，在多种 CNN 结构上进行了测试，并表明该方法可以在减少计算开销的同时保持性能，从而达到了更高的效率。
- 重新思考空间自适应归一化
通过 ROI 分析，我们发现在 SPA 上的优势主要来自于其对语义信息的敏感性，而不是其对适应性位置的适应性。 因此，我们提出了一个轻量级变种 CLADE，它不适应空间位置或布局。 CLADE 极大地降低了计算成本，同时仍然能够在生成过程中 - 单图像超分辨率的分层神经架构搜索
提出了一种基于 Hierarchical Neural Architecture Search (HNAS) 的方法来自动设计计算成本不同的高级 SR 架构，同时考虑性能与计算成本来指导搜索过程，实验表明该方法在性能上优于现有方法。
- AAAI基于启发式黑盒方法的视频识别模型对抗攻击
提出了一种基于启发式算法的黑盒视频识别攻击模型，生成的对抗扰动仅作用于筛选的视频帧和区域，大大降低了计算成本和减少了查询次数，攻击效果明显。
- 自适应网络剪枝
本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率 - ICMLLatentGNN：学习高效非局部关系以用于视觉识别
该研究提出了一种基于图神经网络和潜在空间的方法，以降低图的复杂度从而实现对视觉特征的非局部关联表示，并在三项主要的视觉识别任务上展示了其具有较高的性能和较低的计算成本。
- KDD高效多任务推理的剪枝感知合并
本文提出了一种网络合并方法 Pruning-Aware Merging (PAM)，在考虑未来网络剪枝的情形下，合并神经网络以达到最小计算成本，实验结果表明与现有方法相比，PAM 可以获得高达 4.87 倍减少计算成本的效果。
- 基于正则化方法的三维卷积神经网络剪枝
本文提出了一种基于三维正则化神经网络剪枝的方法，通过分配不同的正则化参数来减少计算和存储消耗，通过分析每个层的冗余和计算成本来确定不同的剪枝比例，实验表明，基于我们的方法的剪枝可以为 3DResNet18 和 C3D 等模型带来 2 倍的理 - CVPREIGEN：生态灵感发掘的神经网络结构遗传搜索
利用基因演化算法，通过模拟自然进化中物种的演化规律，从初始简单神经网络不断进化，辅以基因复制和模拟成功网络行为等方法，在减少计算量的同时有效地解决深度学习中神经网络结构设计的难点，该方法在 CIFAR-100 数据集上实现了 78.1％的测 - 像素级注意力门控用于简洁像素标注
本篇论文提出一种基于 Pixel-wise Attentional Gating 的模型优化方案，使得在计算资源受限的前提下，模型在特定任务上（如：语义分割、边界检测、深度估计等）可以达到与其他相关方法相抗衡或处于领先地位。这种方案可以通过 - 深度神经网络的有效处理：教程和概述
本文综述了目前深度神经网络的应用及其在计算机视觉、语音识别、机器人等 AI 任务中的高精度表现，同时也阐述了深度神经网络大规模部署所面临的高算力成本和能效问题，并提出了硬件设计、算法优化等多种解决方案以提高能效和算力，最后对比了各种深度神经 - 提升神经机器翻译
本文提出了一种基于数据增强和引导的训练方法来缓解神经机器翻译 (NMT) 训练效率方面的问题，它模拟人类学习过程，能够提高准确性并节省 20% 的训练时间。
- MM少于一次迭代：随机控制的随机梯度下降法
研究表明，我们开发并分析了一种基于梯度的优化过程，我们称之为随机控制随机梯度（SCSG）。作为 SVRG 算法集合中的一员，SCSG 利用了两个尺度上的梯度估计，在快速尺度上的更新次数受到几何随机变量的控制。与大多数现有算法不同，SCSG - NIPS深度神经网络中的结构稀疏学习
本文提出了一种结构稀疏学习方法，用于规范深度神经网络的结构和减少计算开销，通过 SSL 算法，可以在 CPU 和 GPU 设备中获得 5.1x 和 3.1x 的卷积层计算加速，同时可以通过规范 DNN 结构来提高分类准确性。
- 使用随机信号的图滤波加速光谱聚类
本文提出了一种基于图信号处理的快速谱聚类算法，通过使用图滤波器对随机信号进行谱聚类距离矩阵的估计，利用这些随机向量的随机性来估计聚类数目 k，相较于传统谱聚类方法，我们的方法在大规模数据集上表现相当且速度至少快二倍。