- CVPRDistriFusion：高分辨率扩散模型的分布式并行推理
通过利用并行处理和分布式计算，我们提出了 DistriFusion 方法以应对扩散模型在生成高分辨率图像时面临的计算资源和延迟的挑战。DistriFusion 方法能够以较低的质量损失，在多个 GPU 上实现高效率的图像生成，并通过异步通信 - DropBP：通过放弃反向传播来加速大语言模型的微调
通过 Dropping Backward Propagation（DropBP）方法，在保持准确性的同时减少计算成本，提高深度神经网络的训练效率。
- 所有语言模型的大小
一个新的插拔式语言模型框架（LONDI），能够在复杂决策和推理需要时选择性地使用大型语言模型（LLM），以降低资源成本并加快执行速度，同时满足预算限制和降低计算成本。
- 基于数据中心视角的高效多模态学习
通过探索更加信息丰富的训练数据，本文演示了击败规模定律并训练出更小但更强大的轻量级多模态大语言模型 Bunny，其背后利用了灵活的视觉和语言基础模块进行高效的多模态学习。
- SepRep-Net: 多源免费领域适应，通过模型分离和参数重构
通过模型分离和参数化，我们提出了一种名为 SepRep-Net 的新框架，用于解决多源自由域自适应问题，在保持计算成本较低的同时，在目标领域上获得竞争性性能，同时保留比现有解决方案更多的源知识。
- 通过向非关键神经元注入噪音来提升 DNN 的对抗性强度和效率
通过引入一种非均匀噪声注入算法，本文提出了一种同时提高对抗鲁棒性和执行效率的有效方法，实验证明该方法在多种攻击场景、模型架构和数据集上成功提升了鲁棒性和效率。
- 高效图像超分辨率：通过专家挖掘实现更多细节
在图像超分辨率（SR）中，采用专家挖掘的高效 SR 模型 SeemoRe 能够在有效设置中以最小的计算成本实现最佳性能。
- 动量 - SAM：无需计算开销的锐度感知最小化
最近提出的深度神经网络优化算法（Sharpness Aware Minimization）通过在梯度计算之前扰动参数，通过梯度上升步骤将优化引导到损失平坦的参数空间区域。我们提出了动量 - SAM（Momentum-SAM），通过在累积动量 - 随着文本增加，需求加大：推理时间训练有助于长文本生成
通过在长文本生成过程中使用临时的 Lora 模块来嵌入信息，我们的提出的方法 Temp-Lora 有效地保留上下文知识，提高了生成质量，同时降低了计算成本。
- 神经代码补全模型对情况进行尺寸评估：通过动态模型推理实现更便宜和更快的补全
利用动态推理方法优化神经代码补全模型，节约计算资源，减少计算成本，并通过决策机制主动防止生成错误代码。
- 通过细粒度模型参数扰动进行机器反学习
机器遗忘方法针对用户隐私保护目标有重要作用，但会带来大量计算成本。我们提出了细粒度 Top-K 和 Random-k 参数扰动的不精确机器遗忘策略，以在保持可计算性开销的同时满足隐私需求。我们还引入了评估机器遗忘效果和模型泛化能力的新指标 - 解析图机器学习中拓扑数据分析的威力
我们详细测试了拓扑数据分析（TDA）的声称，并验证了其优点。我们的结果证实了 TDA 对异常值的鲁棒性和其解释性，并发现 TDA 在我们的具体实验中并没有显著提高现有方法的预测能力，同时增加了计算成本。我们研究了与图特征相关的现象，如小直径 - 语言模型是一种同时机器翻译的分支预测器
通过使用分支预测技术降低翻译延迟，我们的研究指出，结合分支预测技术可以在同时进行的机器翻译任务中减少翻译延迟，提高翻译质量和效率。
- 并非所有步骤相等：高效生成与渐进传播模型
提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了 - 面向效率的自监督语音表示学习方法
自我监督学习在计算机视觉、自然语言处理、生物学和语音等多个领域取得突破，然而现有方法的计算成本较高，限制了模型的部署、训练数据集的规模以及拥有大型自我监督模型的研究机构的数量。因此，需要进一步研究以解决自我监督表示学习中高计算成本的问题。
- 因式分解视觉转换器：通过局部窗口成本建模远距依赖
我们提出了一种新颖的分解自我注意力机制 (FaSA)，它具有本地窗口的计算成本和远程依赖建模能力。利用 FaSA，我们提出了层次结构的分解视觉 Transformer (FaViT)，它在输入图像空间分辨率方面具有线性计算复杂性，并在分类和 - AAAIAesFA：一种美学特征感知的任意神经风格迁移
该研究提出了一种轻量级但有效的模型，名为 AesFA，用于从参考图像中更好地解离美学风格，并通过在整个模型中进行端到端训练来完全排除预训练模型进行推理。为了改进网络提取更明显的表示和进一步增强风格化质量，该研究还引入了一种新的美学特征：对比 - EMNLPPILLOW：通过提示匹配增强高效的指导微调
通过基于区分特性的提示方法，利用长文本模型在上下文学习能力上的优点，PILLOW 提出了一种改进低秩适应性的方法，实现了在各种评估指标上与传统 Fine-Tuning 方法相当的性能，仅利用消费级 GPU 资源且大幅降低了计算成本。
- FRDiff: 精细的零编码加速扩散模型的特征复用
引入一种高级加速技术 ——FRDiff，通过利用扩散模型中固有的时间冗余，重复使用具有高时间相似性的特征图，实现了在各种生成任务中在保真度和延迟折衷之间平衡的 Pareto 前沿。
- DeepCache：加速扩散模型的自由之选
Diffusion models have gained attention in image synthesis, and this paper introduces DeepCache, a training-free paradigm