latency | BriefGPT - AI 论文速递

关键词latency

搜索结果 - 93

低延迟和抗抖动的工业物联网通信的 OFDM 标准兼容的 SC-NOFS 波形
通过提出一种新的不规则 Sinc (irSinc) 塑形技术来提高工业物联网 (IIoT) 的性能，减少延迟和增强抖动容忍度，进而实现更高的数据传输速率和节省时间资源。
PDF25 days ago
MM多项式 LUT-Add：基于 FPGA 的宽输入 LUT 推理
通过引入 PolyLUT-Add 技术，结合多个 PolyLUT 子神经元进行相加以提高准确性，并描述了一个提高可扩展性的新型架构，实验结果表明，在相似准确度的情况下，PolyLUT-Add 相比传统方法能够减少 1.3-7.7 倍的 LU
PDF25 days ago
级联感知语言模型的训练
通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。
PDFa month ago
基于轻量级神经网络的实时语音活动检测
该研究提出了一种轻量级实时的神经网络模型 MagicNet，利用 1-D 卷积和 GRU，并且不依赖未来特征作为输入，在综合测试数据集上与两种最先进的算法进行比较，评估结果表明 MagicNet 能够在较少的参数成本下实现更好的性能和鲁棒性
PDFa month ago
利用机器学习在动态无线环境中进行准确的物联网设备识别
通过累积分数为数据收集和机器学习算法训练引入的方法，在考虑到无线信道的动态影响时，成功实现了超过 97% 的设备识别的 F1 分数，相较于忽略信道动态对数据收集和设备延迟的影响时仅实现 75% 的 F1 分数，实现了显著改进。
PDF2 months ago
深度学习用于低延迟、量子就绪的射频传感
通过深度学习将量子技术与实时 RF 信号分类结合，实现了低延迟在线分类和突破物理极限的下一代量子 RF 传感器。
PDF2 months ago
BASS: 批处理优化注意力的推测采样
该论文描述了一种批处理的推测解码系统，在多序列生成延迟方面达到了最新的技术水平，并在时间预算内展示出卓越的 GPU 利用率和生成质量。
PDF2 months ago
大型语言模型的无损加速通过自适应 N-gram 并行解码
通过引入自适应 N-gram 并行解码（ANPD），我们提出了一种创新的无损方法，可以在保持性能的同时加速推理。ANPD 采用两阶段方法，通过一种快速草稿阶段和验证阶段，使生成多个标记成为可能，从而提高处理速度并减少推理延迟。ANPD 消除
PDF3 months ago
GAMA-IR：全球累加多维均值用于快速图像恢复
通过使用浅层网络和高效的块实现全局加性多维均值操作，我们介绍了一种图像复原网络，既具有快速执行速度又能提供优秀的图像质量。通过广泛的实验证明，我们的网络在各种任务上实现了与现有的最先进图像复原网络相媲美甚至更优秀的结果，并且具有较低的延迟。
PDF3 months ago
关于神经架构搜索的延迟预测器
通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。
PDF4 months ago
NeuraLUT：在布尔可综合函数中隐藏神经网络密度
利用全连接层内的浮点精度作为每个分区内的刚性稀疏性和量化，我们提出了将整个子网络映射到单个查找表（LUT）中的方法，并通过引入跳跃连接来解决梯度消失等挑战，从而显着提高延迟。
PDF4 months ago
变形金刚技巧：预计算第一层
使用 RoPE 技巧能够提高 transformers 的推理速度，通过预计算第一层 transformer 能够降低延迟和每个词的成本。只优化了一层，实际节省的比例取决于总层数，例如对于只有 4 层的模型最大节省 25%，而对于 32 层
PDF4 months ago
FLASH：跨同时异质环境的联邦学习
FLASH 是一个轻量级、灵活的客户端选择算法，通过权衡与客户端数据质量、数据分布和延迟相关的统计信息来优化各种异质性源，从而在广泛的异质性源下优于最先进的 FL 框架。
PDF5 months ago
探索浏览器内深度学习推理对用户体验质量和性能的影响
深度学习在 Web 应用中的 “浏览器内推理” 方法正在被广泛应用，然而该方法的实际性能以及对用户体验质量（QoE）的影响尚未得到很好的了解。本研究通过对广泛使用的 9 个深度学习模型在 50 个流行的 PC Web 浏览器上的测试，提出了
PDF5 months ago
ServeFlow: 用于网络流量分析的快慢模型架构
该论文介绍了 ServeFlow，一个针对网络流量分析任务的机器学习模型服务解决方案，它通过仔细选择收集数据包的数量和应用于各个流量的模型，实现最小延迟、高服务速率和高准确性之间的平衡。
PDF5 months ago
仅需集合：基于 FPGA 的超快速喷注分类方法在 HL-LHC 中的应用
通过对基于机器学习的算法在可编程门阵列上进行准确的喷注风味分类的研究，展示了在输入规模和算法选择方面的延迟和资源消耗如何扩展，并提供了一种用于在 CERN LHC 的高亮度阶段进行标记的模型的初始设计。通过量化感知训练和高效硬件实现，我们展
PDF5 months ago
DeepSpeed-FastGen：基于 MII 和 DeepSpeed-Inference 的 LLM 高吞吐文本生成
DeepSpeed-FastGen 是一个采用动态 SplitFuse 策略的系统，相较于 vLLM 等现有系统，在吞吐量上提高了 2.3 倍，平均延迟降低了 2 倍，并且在 token 级别尾延迟降低了最高达 3.7 倍，通过采用 Dee
PDF6 months ago
AAAI缩小您的时间步长：朝着低延迟的脉冲神经网络神经形态目标识别
通过将 SNN 拆分为多个阶段，并逐渐减小时间步长，本研究提出了 Shrinking SNN (SSNN) 来实现低延迟的神经形态学物体识别。SSNN 能够显著降低推理延迟，并通过引入多个早期分类器来消除低延迟下性能的退化。实验证明，在多个
PDF6 months ago
可视化位置识别的低比特量化神经网络的设计空间探索
通过研究紧凑卷积网络架构和后训练量化对视觉地点识别（VPR）性能的影响，我们不仅通过 recall@1 分数测量性能，还测量内存消耗和延迟，为受资源限制的 VPR 系统提供了设计建议。
PDF7 months ago
MM语义通信下的资源分配与物理层安全
本研究论文提出了一种联合优化算法，用于减少总延迟和提高效用的语义通信系统。该系统包含了物理层安全方法，通过秘密速率来确保信息不被窃听者获得。实验结果表明，与基线相比，所提出的算法能够达到最佳的联合优化性能。
PDF7 months ago