- 结构平衡的多组分多层神经网络
本研究提出了一种平衡的多组分和多层神经网络（MMNN）结构，用于以自由度和计算成本为代价在准确性和效率方面逼近具有复杂特征的函数。通过引入平衡的多组分结构，MMNN 相较于完全连接的神经网络（FCNNs）或多层感知机（MLPs），在训练参数 - 标签平滑改善机器反学习
该论文介绍了 UGradSL，一种使用平滑标签的简单且易于使用的机器遗忘方法，通过理论分析和实验证明了适当引入标签平滑如何提高机器遗忘性能，并且证明了 UGradSL 在不牺牲计算效率的情况下，能够在多个数据集上显著改善机器遗忘性能。
- ICML可切换的决策：动态神经生成网络
通过动态分配计算资源来加速推理，我们的动态神经生成网络在问题回答、摘要和分类基准测试中表现出少量的计算成本，同时保持相同的准确性。
- RL-MPCA：一种基于强化学习的推荐系统多阶段计算分配方法
基于强化学习的多阶段计算分配 (RL-MPCA) 方法旨在在计算资源的限制下最大化总商业收益，通过将计算资源分配问题形式化为弱耦合的马尔可夫决策过程问题，并采用基于强化学习的方法解决。实验证明了该方法的有效性。
- No-Skim: 针对基于略读的语言模型的效率鲁棒性评估
为了降低大型语言模型中的运算成本和能源消耗，本论文提出了一种名为 No-Skim 的通用框架，以帮助基于打桩的语言模型所有者了解和度量其加速方案的强健性，并通过搜索最小且不易察觉的字符级和标记级失真生成对抗性输入，从而增加剩余标记比率，进而 - 基于 Transformer 的选择性超分辨率用于高效图像精炼
通过将图像分割为不重叠的图块、使用金字塔结构选择感兴趣的图块，并利用深度特征仅重构这些选定的图块，我们提出了一种新颖的基于变压器的算法 Selective Super-Resolution（SSR），解决了常规超分辨率方法在放大整个大图像时 - EMNLP将专家合并为一体：提高混合专家的计算效率
本研究主要通过提出一种计算较为高效的方法 Merging Experts into One（MEO）来降低计算成本，并通过实验证明其优越性以及如何进一步提高效率和性能。
- ICCVSG-Former: 自我引导变形器与演化式记号重分配
利用自适应细粒度的全局自注意力，SG-Former 模型通过重分配代币实现了高性能，其基本模型在 ImageNet-1K 上达到了 84.7％的 Top-1 准确率，在 CoCo 上达到了 51.2mAP 的 bbAP，在 ADE20K 上 - 浅层网络在逼近和学习高频时的挑战：数值研究
通过分析和实验，本文综合数值研究了为什么两层神经网络在处理高频逼近和学习时在实践中的机器精度和计算成本是重要因素的情况下存在困难。
- 分段循环变压器：一种高效的序列到序列模型
本研究提出一种名为 “SRformer” 的分段循环变压器模型，通过使用分段关注机制和循环关注机制结合来处理长度较长的序列，降低计算和内存成本，并应用于 T5 和 BART 转换器上进行摘要生成等任务，结果显示比分段变压器基线具有更高的性能 - CVPR视频语义分割的运动状态对齐
本研究提出了一种基于运动状态对齐的视频语义分割方法，该方法解决了信息不一致性和计算成本等难点，实现了像素级状态一致性和区域级时间一致性，能够以低计算成本高精度地分割出视频语义区域，并在 Cityscapes 和 CamVid 数据集上验证了 - Efficiency 360: 高效率视觉 Transformer
本文主要介绍 Transformers 在记忆效率、计算成本和性能方面的高效性，特别讨论了视觉 Transformer 用于图像分类任务，并提出了一个有效的 360 框架以使其更适用于工业应用。作者将这些应用程序归类为多个维度，如隐私、稳健 - EMNLP预训练语言模型的隐藏状态可变性可指导迁移学习的计算降低
该研究提出通过基于层内和层间变异性度量的方式选择适当的层数和分类器位置，以降低迁移学习方法的计算成本，而不影响其性能，并在 GLUE 测试集上进行了广泛实验，证明了该方法的有效性。
- 基于图同构的性能预测器架构增强
本文提出了一种名为 GIAug 的有效的 DNN 架构扩增方法，它可以通过基于图同构的机制，非常高效地生成单一架构上多元化的注释架构，并将其编码成适合于大多数预测模型的形式，从而非常灵活地利用各种现有的基于性能预测的 NAS 算法，并且在 - 基于非独立同分布数据的 ASR 解耦联邦学习
使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题，该方法通过在本地保留一些层来学习个性化模型，并提出一种解离联邦学习，将计算负担移动到服务器端并通信安全高级特征而非模型参数，实验表明这两种方法可以与 FedAvg 相比降低 W - ICMLDisPFL：去中心化稀疏训练，实现通信高效的个性化联邦学习
提出了一种基于去中心化通信协议的个性化联邦学习框架，利用个性化稀疏掩码为每个用户的本地模型进行定制，进一步节省通信和计算成本，并在不同复杂度的本地客户端上达到更好的个性化性能。
- CVPR领域感知和任务感知的自监督学习
DATA 是一种简单而有效的用于自我监督学习预训练的神经结构搜索方法，该方法使用了域感知和任务感知前置训练，并使用可灵活搜索机制寻找不同计算成本的网络，用于各种下游视觉任务和数据域，实验结果表明具有良好的通用性。
- ICML基于行列式点过程的神经网络采样器在集成强化学习中的应用
提出了一种基于 Determinantal Point Process 的神经网络采样器 DNS，可在强化学习算法中采用子集的方式减少训练 Neural Networks 所需的时间和计算成本，MuJoCo 环境上对 DNS 的实验表明在使 - 使用稀疏本地模型实现个性化联邦学习
本论文提出一种名为 FedSpa 的新型 PFL 方案，它采用个性化稀疏掩码来在边缘上自定义稀疏的本地模型，理论和实验表明，FedSpa 不仅节省了通信和计算成本，而且在模型准确性和收敛速度方面表现优异。
- 神经网络解决的低复杂度信道估计
本文研究了利用机器学习，特别是神经网络方法来进行无线通信信道估计问题，并且针对正交频分复用信号的下行场景，采用一个通用的残差卷积神经网络进行了实现，且利用简单的插值层来替换其他网络中的转置卷积层，减少了计算成本。与其他深度学习方法相比，对于