inference speed | BriefGPT - AI 论文速递

关键词inference speed

搜索结果 - 109

大型语言模型的知识蒸馏综述：方法、评估与应用
这篇论文通过从方法、评估和应用三个方面对专门针对大型语言模型的知识蒸馏技术进行了全面调查，将方法分为白盒知识蒸馏和黑盒知识蒸馏，并探讨了不同蒸馏方法之间的评估任务和蒸馏效果，并提出了未来研究的方向。通过深入了解最新进展和实际应用，这篇综述为
PDF4 days ago
SPARKLE: 在解码过程中增强 SPARQL 生成的直接知识图谱集成
我们提出了一种新颖的端到端自然语言到 SPARQL 框架 SPARKLE，它在解码过程中直接利用知识库的结构，从而有效地将知识整合到查询生成中。通过引用知识库简化查询生成，SPARKLE 在 SimpleQuestions-Wiki 数据集
PDF7 days ago
DISCO: 大规模组合优化问题的高效扩散求解器
提出了一种用于组合优化问题的高效扩散求解器 DISCO，通过快速去噪和限制采样空间的方法，在解决质量和推理速度方面表现出色。
PDF8 days ago
SPIRONet：基于空间频率学习和拓扑通道交互的血管分割网络
提出了一种新颖的空间频率学习和拓扑通道交互网络（SPIRONet），旨在解决当前自动血管分割方法在低信噪比、细小的血管和强干扰等显著挑战下表现不佳的问题。通过使用双编码器全面捕获局部空间和全局频率血管特征，引入交叉注意力融合模块来有效融合空
PDF8 days ago
在 NVIDIA Jetson Nano 上为实时系统进行深度学习模型基准测试：一项实证研究
研究了在低计算能力和低内存设备上部署复杂的深度学习模型的优化方法以提高推断速度，证明了硬件特定的模型优化能够有效降低能源消耗和碳足迹。
PDF11 days ago
NARRepair: 自动程序修复的非自回归编码生成模型
采用非自回归方法 (NAR) 的自动程序修复 (APR) 技术 (NARRepair) 可在并行方式下输出目标代码，从而避免大量的推理延迟，同时提高修复精度。
PDF12 days ago
MOYU: 大规模过度激活引起的语言模型提升的理论研究
大规模语言模型的 Massive Over-activation Yielded Uplifts (MOYU) 是一种固有属性，基于 MOYU 属性的动态激活 (DA) 是一种旨在加速这些模型推理的巧妙但未被充分探索的策略。本文澄清了 MO
PDF18 days ago
ICMLQuest: 查询感知稀疏性用于高效长上下文 LLM 推断
长上下文大语言模型的推理速度下降的问题可以通过使用查询感知的 KV 缓存选择算法来加速自注意力机制，该算法通过仅加载前 K 个关键 KV 缓存页面来显著提高自注意力的速度。
PDF20 days ago
基于边缘智能脑机接口应用的神经解码骨干算法评估
传统侵入性脑机接口通常依赖于在实验室环境中工作站上进行的神经解码过程，制约了其日常使用。本研究旨在识别一种在边缘设备上实施的具有强大性能和快速推理能力的最佳神经解码框架。通过进行一系列神经解码实验，评估四个潜在的模型（Gated Recur
PDFa month ago
Open-YOLO 3D：面向快速准确的开放词汇的 3D 实例分割
我们提出了一种名为 Open-YOLO 3D 的快速而准确的开放词汇 3D 实例分割方法，在多视角 RGB 图像中有效利用仅 2D 对象检测进行开放词汇 3D 实例分割，并通过生成类无关的 3D 掩码并与文本提示相关联来处理此任务。我们的
PDFa month ago
ManiCM: 实时三维扩散策略通过一致性模型用于机器人操纵
我们提出了一种名为 ManiCM 的实时机器人操作模型，该模型通过在扩散过程中施加一致性约束来生成机器人动作，以实现仅进行一步推理。通过在机器人动作空间中制定一致的扩散过程和点云输入条件下对原始动作进行直接降噪操作，我们设计了一种一致性蒸馏
PDFa month ago
多模态跨领域少样本学习用于主体动作识别
通过多模态输入和无标签目标数据解决跨领域少样本学习中视角行为识别的两个关键挑战，即视角视频的领域差异和实际应用的计算成本问题。提出了 MM-CDFSL 方法，通过教师模型的多模态蒸馏和集成遮蔽推理，增强模型对目标域的适应性并提高推理速度。在
PDFa month ago
最近邻假设解码用于 LLM 生成和归因
利用最近邻推断的半参数化语言模型， NEAREST 引入了最近邻预测解码，可以高效提高生成质量和属性率。
PDFa month ago
KDD点击率预测的统一低秩压缩框架
通过低秩压缩模型，本研究提出了一种统一的压缩 CTR 预测模型的方法，实现了模型尺寸减小、推理速度加快、AUC 提高等优势。
PDFa month ago
PatchScaler：一种高效的与补丁无关的扩散模型用于超分辨率
基于扩散模型的独立于补丁的单图像超分辨率方法 PatchScaler 显着提高了图像质量，降低了计算成本，并实现了快速推理速度。
PDFa month ago
Segformer++: 高分辨率语义分割的高效令牌合并策略
利用 Transformer 架构进行高分辨率图像的语义分割受到注意力计算复杂性的阻碍。本文通过令牌合并来减少令牌数量，这在图像分类任务的推理速度、训练效率和内存利用方面取得了显著改进。我们在多个语义分割和人体姿势估计数据集上探索了不同的令
PDFa month ago
一致性策略：通过一致性蒸馏加速视觉动作策略
通过一项快速推断的 Consistency Policy 方法，本研究提出了一种在资源受限的机器人系统中实现低延迟决策的有效替代 Diffusion Policy 的学习视觉动作控制方法。通过在已训练的 Diffusion Policy 中
PDF2 months ago
EMS-SD：高效的多样本猜测解码用于加速大型语言模型
通过提出一种新方法，解决多样本推断速度提高中可变数量的 token 导致效率下降的问题，无需增加计算和内存开销，并且可以处理不一致的样本预测 token 的情况。
PDF2 months ago
实时物体检测模型的复制研究和基准测试
本研究旨在检验实时目标检测模型的可重复性和基准测试。通过比较大量的目标检测模型在多个显卡上的精度和推理速度，我们还重现了 DETR、RTMDet、ViTDet 和 YOLOv7 等模型，并提出了一个统一的训练和评估流程，以更好地比较模型。然
PDF2 months ago
时空强化网络用于视频目标分割
最近，视频对象分割（VOS）网络通常使用基于记忆的方法：对于每个查询帧，通过空间 - 时间匹配预测掩码以与记忆帧相匹配。尽管这些方法具有卓越的性能，但存在两个问题：1）具有挑战性的数据可以破坏相邻视频帧之间的空间 - 时间一致性。2）像素级
PDF2 months ago