- 时间的重要性：适用于任意预算的规模定律
通过内存拷贝建立一种更准确的大型模型训练时间估算方法，利用超参数和缩放法可估计模型的最终损失并对模型进行架构决策和更高效的训练。
- 一种通用的信号调制识别深度学习模型的层剪枝方法
深度学习在通信系统中的成功应用使得深度神经网络成为信号分类的首选方法。然而，这些模型通常具有高计算复杂度和大的模型尺寸，这阻碍了它们在通信系统中的实际部署。为解决这个挑战，我们提出了一种新型的层剪枝方法，通过将模型分解成几个连续的块，每个块 - Mamba4KT: 一种高效和有效的基于 Mamba 的知识追踪模型
Mamba4KT 是第一个探索知识追踪中增强效率和资源利用的新模型，通过对顺序级别和题目级别的解释性进行研究，实验证明其在三个公共数据集上达到可比较的预测准确性，同时显著提高了训练和推理效率以及资源利用效率。
- 通信高效的剪辑均匀量化器用于联邦学习
该论文介绍一种在联邦学习环境中使用剪辑均匀量化的方法，旨在通过减少通信开销而不降低准确性来提高模型效率。通过采用最优剪辑阈值和自适应量化方案，我们的方法显著减少了客户端和服务器之间模型权重传输的比特需求。通过在 MNIST 数据集上进行广泛 - 基于步态分析的实时人员识别
通过使用低功耗模型，借助可穿戴设备在边缘进行实时步态识别，本研究成功地在 Arduino 上演示了作者的实时身份识别，从而强调了其功效，并为不久的将来在实际系统中应用提供了可行性证明。
- GLFNET：用于高效医学图像分割的全局 - 局部（频率）滤波网络
我们提出了一种名为全局 - 局部滤波网络（GLFNet）的新型 Transformer 风格架构，用于医学图像分割，证明了其具有最先进的性能。我们用全局 - 局部滤波块取代了自注意机制，以优化模型效率。全局滤波器从整个特征图中提取特征，而局 - 神经 Sinkhorn 梯度流
我们提出了神经 Sinkhorn 梯度流（NSGF）模型，该模型使用神经网络来逼近底层 Wasserstein 梯度流的一部分，通过 Sinkhorn 分歧到目标分布的时间变化速度场的参数化，利用速度场匹配训练方案进行样本估计。理论分析表明 - 基于图像的西红柿和玉米叶病害检测：一项深度对比实验
本研究基于卷积神经网络 (CNN) 引入一种新颖的植物病害检测模型，用于植物图像分类，对图像分类做出了重要的贡献。创新的训练方法使系统实施变得简化高效。该模型将两种不同的植物病害分类为四个类别，提出了一种新颖的植物病害识别技术。实验结果表明 - 高效 Transformer 的沙漏分词技术用于 3D 人体姿势估计
提出了一种基于 Transformer 的 3D 人体姿态估计的剪枝和恢复框架，通过选择具有高语义多样性和消除视频帧冗余的少量代表性 Token，在中间 Transformer 块中有效地提高模型效率。
- SiDA: 基于稀疏性的数据感知服务，用于高效和可扩展的大型专家混合模型
通过采用数据感知视角，SiDA 以最小的性能损失实现了 Mixture-of-Experts 推理的显著加速，具有高达 3.93 倍吞吐量提升、高达 75% 的延迟降低和高达 80% 的 GPU 内存节省，为大型的混合专家模型的可扩展和高效 - Med-DANet V2：一种用于高效医学体积分割的灵活动态架构
通过动态推理，针对 3D 医学图像分割的计算效率问题，本文提出了一种基于动态架构的网络框架 Med-DANet，通过动态选择适合不同切片的 2D 候选模型，以取得较好的准确性和效率平衡，并在数据分析、训练成本和模型结构等方面做了进一步的改进 - 大规模多任务和多域学习中的标量化
通过多领域和多任务学习的大规模统一分析，深入了解标量化在各种任务和领域组合以及模型规模中的动态，然后借助基于群体的训练来有效地搜索处理大量任务或领域时的最优标量化权重。
- 效率十项全能：效率评估的标准竞技场
现代自然语言处理（NLP）系统的计算需求增加了最前沿研究的门槛，同时引发了严重的环境问题。然而，在模型效率方面取得进展却受到了模型评估和比较中的实际挑战的阻碍。为了应对这一问题，本文介绍了 Pentathlon，一个用于模型效率全面和现实评 - ContextSpeech：适用于段落阅读的表现力强、有效率的文本转语音技术
该论文提出了一种轻量级而有效的 TTS 系统 ContextSpeech，采用记忆缓存的复现机制和分层结构的文本语义，以及线性化的自注意力机制来增强全局文本和语音语境，并在长篇阅读中显着提高了语音质量和语调表现力。
- ICDaeLST: 轻量级快速风格转移的强度可调细节增强
我们引入了一种轻量级快速的风格迁移模型 ICDaeLST，该模型采用简单、浅层和小型结构，结合风格鉴别器、全局语义不变性损失和浅层细节注意力增强模块，实现更好的风格迁移效果和更快的处理速度。
- InceptionNeXt: Inception 遇见 ConvNeXt
提出了一种类似于 Inception 的新型卷积操作 Inception depthwise convolution，将大核卷积分解为四个通道维度上的平方小核、两个正交带状核和一个恒等映射，用于构建高吞吐量且性能表现强劲的网络 Incept - 神经傅立叶滤波器组
该文提出了一种利用神经场和傅里叶特征编码对信号进行空间和频率分解的方法，并通过多层感知机逐层累积高频部分，以形成最终输出的有效高精度重建方法，试验表明该方法在二维图像拟合、三维形状重建和神经辐射场等多个任务上效果优于现有方法，且模型更加紧凑 - 无需分词的多语言预训练模型的多维度评估
综合比较多语言预训练模型的效率时，在考虑内存使用、推理速度和数据健壮性等方面，基于子词的模型仍然是许多场景下更可靠的选择，此为当前研究结果，建议未来的 tokenizer-free 方法在设计和评估模型时也要考虑这些因素。
- Longtonotes: 更长的 OntoNotes 指代链
本研究建立了一个新的语料库 LongtoNotes，其中包含了英语文本中多种类型，长度不同的文档，并在其中评估了最新的神经共指系统，分析了模型结构 / 超参数与文档长度对性能和效率的影响，还提出了长文档共指建模中的改进问题。
- Fast-FNet: 通过高效傅里叶层加速 Transformer Encoder 模型
本研究比较了基于 Transformer 的语言模型中的注意力机制和傅里叶变换，并提出了几种采用更高效的傅里叶变换的模型架构，以提高模型效率。