- FL-NAS: 面向资源受限设备的 NAS 公平性技术发展:基于大型语言模型
通过考虑模型准确性、公平性和硬件部署效率,本文提出一种基于大型语言模型的神经架构搜索框架 FL-NAS,并通过实验证明,FL-NAS 在几乎所有设计考虑因素上都能找到高性能的深度神经网络,超越了现有技术成果。
- A2Q+: 提高累加器感知的权重量化
通过限制权重和激活函数的精度,量化技术通常降低神经网络推理成本。最近的研究表明,降低累加器的精度可以进一步提高硬件效率,但存在数值溢出的风险,这会导致算术错误并降低模型的准确性。为了避免数值溢出并保持准确性,最新的工作提出了一种称为累加器感 - 移动性加速学习:车联网中分层联邦学习的收敛分析
本文主要研究了在高度移动设备上的分层联邦学习(HFL),证明了 HFL 在边缘级异构数据中移动性能够提高收敛速度以及模型准确性的优势。
- AAAIQuilt:面对概念漂移的鲁棒数据段选择
通过使用 Quilt,这是一个数据中心的框架来鉴定和选择能够最大化模型准确性的数据片段,从而提高模型准确性和效率。
- 特征标准化正则化的联邦学习:将不均衡的分布转化为全局洞察
在联邦学习领域,解决非独立同分布的数据问题一直是提高全局模型性能的一个重要挑战。本文提出了特征范数正则化联邦学习(FNR-FL)算法,通过独特地结合类平均特征范数来增强在非独立同分布场景下的模型准确性和收敛性。我们的综合分析发现,相比其他现 - AAAI无数据强标签强韧性窃取攻击
这篇论文介绍了一种新的无数据硬标签鲁棒性窃取攻击方法,该方法通过查询目标模型的硬标签而无需任何自然数据,实现了对模型准确性和鲁棒性的窃取,实验证明其有效性。
- 使用卷积自动编码器防御对抗性攻击
基于卷积自编码器的方法提高目标分类器对抗性攻击的鲁棒性,通过生成与输入图像相似的图像来恢复模型的准确性。
- 回归器 - 分割器相互提示学习用于人群计数
通过相互提示学习,减少注释变异对模型精确度的影响,提高人群计数的准确性。
- 本地遮盖与逐步冻结:为自监督学习打造高效的视觉变换器
本文介绍了一种创新的自监督学习方法,将局部遮罩图像建模与渐进层冻结相结合,以增强 Vision Transformers(ViTs)中初始层训练的效率和速度。通过在训练过程中在战略点冻结特定层,我们降低了计算需求,同时保持或提高了学习能力。 - 词元融合:填补词元剪枝与词元合并之间的差距
通过融合 Token Fusion 方法来提高 Vision Transformers 的计算效率和模型准确性,使其适用于资源受限的边缘设备,并在分类和图像生成任务中建立新的基准。
- MergeSFL: 特征合并和批次大小调控的分割联邦学习
提出了一种新的 SFL 框架 ——MergeSFL,通过结合特征合并和批量大小调节来解决统计异质性和系统异质性带来的挑战,从而提高 SFL 的性能。在 80 个 NVIDIA Jetson 边缘设备上进行了广泛实验,实验结果显示,与基准结果 - 合成增强:揭示合成数据在医学影像研究中的潜力
使用扩散模型的合成数据补充对胸部 X 射线影像(CXR)分析中深度学习(DL)分类器性能的影响进行了研究,评估了内部和外部数据集上分类器的性能,结果表明合成数据补充可以增强模型准确性,尤其是在检测罕见病变方面。然而,尽管结果有希望,真实数据 - 假设网络计划探索快速元强化学习适应
Meta Reinforcement Learning 的 Hypothesis Network Planned Exploration(HyPE)方法结合了主动和计划的探索过程,通过假设网络优化了适应速度,在快速演化的环境中显示出比基线方 - EMNLP开放领域问答中的负面背景
通过筛选句子,可以提高模型准确率并优化 NLP 任务中的问答体系结构。
- EMNLP利用数据集制图来提高 Transformer 中的组合泛化能力
通过数据集制图的方法,我们提出了一种新型的策略,用于增强神经网络的组合泛化性能,实现了模型准确性的显著提高。
- 深度学习的微调数据格式
窄位宽数据格式是降低现代深度学习应用的计算和存储成本的关键。本文评估了使用分区缩放因子和狭窄的浮点和整数类型结合的微标度(MX)数据格式。MX 格式平衡了硬件效率、模型准确度和用户摩擦之间的竞争需求。超过两打基准实验证明了 MX 数据格式作 - 能否准确使用 CNN 分类人类情绪?一项基于深度学习的面部表情识别研究
该研究探讨了 CNN 模型识别和分类人类面部表情(积极、中立、消极)的能力,通过对芝加哥人脸数据库的预处理数据进行训练,模型在 10,000 张图像上达到 75% 的准确率,表明实现准确分析人类情感以及实用情感人工智能的可能性。
- 渐进降阶建模:以选择性知识传输强化数据驱动建模
通过减少数据需求并提高数据驱动模型的实际性,我们提出了一种渐进降阶建模框架,通过选择性地从之前的训练模型中转移有价值的知识,从而创建一个具有高准确性的代理模型。我们的研究通过缓解数据稀缺问题,解锁了数据驱动建模在实际工程应用方面的潜力,为各 - SMOOT:基于显著性引导的掩模优化在线训练
通过提出一种基于输入、准确性和模型损失的遮蔽图像数目的最佳确定方法,本文旨在解决遮蔽策略的问题,以提高模型的准确性和突出性,从而证明所提出的解决方案的有效性。
- 高效的后训练量化与 FP8 格式
最近在深度学习方法中,如 LLMs 和 Diffusion 模型的最新进展已经带来了对改进量化方法的需求,以满足这些现代架构的计算需求,并保持精确性。为了实现这一目标,我们研究了在 75 种不同的网络架构中跨越各种任务(包括机器翻译、语言建