- 探究事后剪枝感知卷积神经网络的校准性和对抗鲁棒性：一项图像分类基准研究
当前研究中对图像分类任务进行的后期 CNN 剪枝技术的实证研究揭示了后期剪枝显著提高了模型的不确定性校准、性能和自然损坏鲁棒性，为安全和稳健的嵌入式 CNN 带来了希望。此外，剪枝不排斥不确定性校准和自然损坏鲁棒性，如通过后期非结构化剪枝的 - 通过知识蒸馏提升 GAN 效率的双方法策略：削减成本
本文提出了两种新方法：DiME 和 NICKEL，用于在资源受限环境中压缩生成对抗网络（GANs），这些方法能够有效地减少 GANs 的计算需求，并在压缩率极高的情况下仍保持生成质量。
- 关于 TinyML 和网络安全：电动车充电基础设施使用案例
随着技术的进步，机器学习在网络安全中的应用变得越来越重要，而在资源受限环境下使用微型机器学习成为解决方案之一。本文综述了微型机器学习技术所面临的挑战，例如能量消耗、内存有限和计算约束，并探讨了相应的解决方案，如能量收集、计算优化技术和隐私保 - 使用合成数据进行零样本蒸馏的图像编码器：如何有效利用
利用图像特征为基础的 L2 蒸馏损失，我们训练出的学生模型在四个特定领域数据集上实现了与在 DataCompXL 上训练的 ViT-B/32 教师模型相当的零样本性能，同时参数减少了高达 92%。
- TinyChart：使用视觉令牌合并和思维程序学习的高效图表理解
TinyChart 是一个有效的 MLLM 图表理解框架，仅含 3B 个参数，通过采用思维程序（PoT）学习策略和视觉令牌合并模块，成功解决了图表理解过程中的计算负担和高分辨率图像的视觉特征序列长度问题，并在多个图表理解任务中达到了最先进性 - 计算机视觉中知识蒸馏的综述
知识蒸馏是一种将复杂模型压缩为更小更简单的技术，本论文综述了知识蒸馏的原理、技术和在计算机视觉领域的应用，并专注于探讨知识蒸馏的好处以及提高其有效性所需克服的问题。
- 超几何度量学习用于视觉异常检测
使用双曲几何的度量框架提高超出分布检测的性能，并探索其与嵌入维度的关系，改善在资源受限环境中的实际应用。
- 资源受限的物联网环境下高效的基于 Transformer 的超参数优化
提出一种基于转换器架构和强化学习方法的新颖方法 TRL-HPO, 用于解决资源受限环境下超参数优化过程中的计算资源和透明度问题，并通过对 MNIST 数据集的评估，证明了 TRL-HPO 在相同时间段内比其他方法的卷积神经网络分类结果提高了 - 加速推理与减少遗忘：早退出网络在持续学习中的双重好处
通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。
- 关于逐出政策对键值约束生成语言模型推理的有效性
本文研究了现有驱逐策略在重要性评分计算和驱逐范围构建方面的不足，并提出 RoCo，一种基于时间注意力分数和鲁棒性度量的稳健缓存省略策略。通过广泛的实验验证了 RoCo 的卓越性能，并发布了 EasyKV 软件包，专门用于用户友好的键值约束生 - 城市在网络上：实时神经渲染大规模场景
我们提出了一种称为 City-on-Web 的方法，通过将整个场景划分为可管理的区块，并采用适当的细节级别，以确保高保真度、高效的内存管理和快速渲染，实现了对大规模场景的实时渲染在资源受限环境下的第一次尝试。我们的实验结果表明，我们的方法在 - MIND：多任务增量网络蒸馏
MIND 是一种参数隔离方法，通过引入两种不同的蒸馏过程和优化网络内部的 BachNorm 层，显著提高了没有重播数据的解决方案的性能，在几个广泛研究的数据集上达到了最先进的结果，对于没有重播数据的类增量学习和域增量学习，在资源受限环境中表 - PEFT-MedAware: 医疗意识的大型语言模型
利用参数高效微调（PEFT）技术，本研究提出了一种专用的 PEFT-MedAware 模型，使用 16,407 个医学问答对的特定数据对 Falcon-1b 大型语言模型进行优化，仅利用其 0.44% 的可训练参数，提高计算效率。该模型通过 - Distil-Whisper: 大规模伪标记下的鲁棒知识蒸馏
通过伪标注法，将较大的语音识别模型提炼为 Distil-Whisper 变体，使其在低延迟或资源有限的环境中更快速地执行，同时保持与原模型接近的性能。
- 基于上下文感知的高效物联网推理
在资源受限环境中，采用上下文感知的策略，即专注于当前上下文中可能的类别，可以显著提高基于深度学习的分类模型在低功耗平台上的性能。本文提出了一种名为 CACTUS 的新范式，用于可扩展和高效的上下文感知分类，通过微分类器识别与当前上下文相关的 - EMNLP提升推理效率：释放参数共享的预训练语言模型的力量
参数共享的预训练语言模型（PLMs）已成为资源受限环境中成功的方法，在不牺牲性能的情况下显著降低了模型存储和内存成本。本文利用神经常微分方程（ODEs）构建了一种简单的技术，提高了参数共享 PLMs 的推理效率，并提出了一种简单的预训练技术 - M3D-NCA：内置质量控制的鲁棒三维分割
提出了一种名为 M3D-NCA 的新方法，利用神经细胞自动机（NCA）分割 3D 医学图像，并开发了一种新的质量度量方法来自动检测 NCA 分割过程中的错误。M3D-NCA 在海马体和前列腺分割方面比两个更大的 UNet 模型表现优异，其 - FAVAS: 带异步客户端的联邦平均
本文提出了 FAVAS 算法，采用集中式的异步联邦学习方式，在资源有限的环境下训练深度神经网络，并提供算法的收敛保证和实验结果的比较。
- 深度学习中极简主义的力量：VanillaNet
本研究介绍了 VanillaNet，一种神经网络架构，其简洁而强大的特点使其适用于资源受限环境，并展示了小型化在深度学习中的优势。
- AAAISplitFed: 联邦学习与 Split Learning 相遇
本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法，它将 Federated learning (FL) 和 Split learning (SL) 相结合，解决了它们各自固有的缺点，并增强了数据隐私和模型鲁棒