inference time | BriefGPT - AI 论文速递

关键词inference time

搜索结果 - 64

迈向快速多语言 LLM 推断：投机式解码和专业的起草机
大语言模型在自然语言处理中产生了革命性的作用，并且扩展了它在不同商业应用中的适用性。然而，这些模型在多语言环境中的部署受到推理时间的限制。为了缓解这一挑战，本文探讨了使用推测解码的助理模型的训练方法，其中助理模型用于草拟未来的令牌，并通过目
PDF6 days ago
Thunder: 一种使用布朗桥进行单向反演步骤的统一回归扩散语音增强方法
通过使用基于扩散的语音增强方法，初始化扩散过程以改进音频，并使用回归模型可以减少计算步骤，提出了一种名为 Thunder 的统一回归 - 扩散模型，该模型利用布朗桥过程可在两种模式下运行，通过将扩散时间步骤设置为接近 1 可访问回归模式，但
PDF20 days ago
针对花生的模型：在无训练访问的情况下劫持机器学习模型是可行的
我们提出了一种在推断时间进行模型劫持的简单方法 SnatchML，通过在受害模型的潜在空间中使用距离度量来将未知输入样本分类为与劫持任务类别相关的先前已知样本。同时，我们还探讨了不同的方法来缓解这种风险，其中包括一种名为 meta-unle
PDFa month ago
IceFormer: 基于 CPU 的长序列 Transformer 加速推理
通过加速自注意机制在推断时的方法，我们成功加速了各种长序列转换器，并在各个基准测试中展示了 2.73 倍 - 7.63 倍的速度提升，同时保留了 98.6%-99.6% 的原始预训练模型的准确性。
PDF2 months ago
超越单事件提取：迈向高效的文档级多事件论证提取
提出了一种多事件论证提取模型 DEEIA (Dependency-guided Encoding and Event-specific Information Aggregation)，该模型能够同时从文档中提取所有事件的论证，并能够在四个
PDF2 months ago
面向意图的去噪扩散模型的轨迹预测
使用散射模型生成多个合理的未来轨迹分布，通过解决时间消耗和意图不确定性的问题，能够提高推理速度并实现更少的扩散步骤。
PDF4 months ago
DCVSMNet：双成本体素匹配网络
Double Cost Volume Stereo Matching Network (DCVSMNet) 是一种新颖的架构，具有两个小型的上部（分组）和下部（规范相关）成本体积。每个成本体积分别处理，并提出了一种耦合模块来融合从上部和下部
PDF4 months ago
多任务推理：大型语言模型能否同时遵循多个指令？
该研究分析了大型语言模型的多任务推理能力，并介绍了 MTI Bench 作为一个综合评估基准，证明多任务推理相对于单任务推理可以显著减少推理时间并提高性能。
PDF4 months ago
DenseFormer: 通过深度加权平均增强 Transformer 中的信息流传
提出了 DenseFormer 这种简单修改的转换器架构，通过在每个转换器模块之后添加一个平均步骤来改进模型的困惑度，减少了内存消耗和推理时间，并且在相同困惑度下表现优于转换器基线模型。
PDF5 months ago
ICML多个局部线性核机器
提出了一种基于局部线性分类器组合的新非线性分类器，通过使用许多局部线性核将问题转化为 l1 多核学习问题，并提供了一种可扩展的用于处理流核的通用 MKL 训练算法，从而得到了适应高准确性但较慢的非线性分类器和快速但较低准确性的线性分类器之间
PDF5 months ago
ICLR通过等变椭圆抛物线界面预测进行刚性蛋白质相互作用对接
本研究提出了一种名为 ElliDock 的新型基于学习的方法，用于预测蛋白质 - 蛋白质对接界面，并在推断时间上显著快于其他方法，特别适用于抗体 - 抗原对接。
PDF5 months ago
ViStripformer：一种用于多功能视频修复的令牌高效 Transformer
本研究提出了一种名为 ViStripformer（视频 Stripformer）的 Transformer 架构，采用了时空带状注意力机制，降低了内存使用，并取得了出色的视频修复结果和快速推理时间。
PDF6 months ago
TurkishBERTweet: 快速且可靠的社交媒体分析大型语言模型
TurkishBERTweet 是第一个用于土耳其社交媒体的大规模预训练语言模型，使用近 9 亿条推文构建，其相对于 BERTurk 更轻量级且推理时间更短，在情感分类和仇恨言论检测等文本分类任务中表现优于其他可用的替代方法，并且与商业 O
PDF7 months ago
TSDF-Sampling: 使用截断有符号距离场的高效神经表面采样
通过使用截断有符号距离场（TSDF）的方法，本研究提出了一种能够减少采样数量的新方法，有效提高了多视图神经表面重建的推断速度，同时保持了渲染质量。该方法在各种神经表面场模型中都能被可靠地插入使用，并在性能方面表现出色。
PDF7 months ago
AdaDiff：自适应步长选择的快速扩散
AdaDiff 是一个轻量级框架，通过学习实例特定的步骤使用策略，优化了扩散模型的图像 / 视频生成过程，以最大化平衡推理时间和生成质量的回报函数，并在减少推理时间至少 33% 的情况下实现与基准方法相似的视觉质量。
PDF7 months ago
计算机视觉中的唇部分割技术探索：一项比较分析
对当前最先进的嘴唇分割模型进行全面评估，比较它们在性能和推理时间上的表现，为未来嘴唇分割的轻量级技术发展和基准建立做出贡献。
PDF7 months ago
快速的思维链：从并行解码中窥见未来，更快地得出答案
本文提出了 FastCoT，这是一个基于并行解码的模型无关框架，通过使用大小可变的上下文窗口来同时进行并行解码和自回归解码，从而充分利用 GPU 计算资源。通过广泛实验证明，FastCoT 相对于常规方法可以将推理时间缩短近 20％，而性能
PDF8 months ago
回到过去：推理阶段中的高效低密度语言模型
使用上下文稀疏性预测算法和异步硬件感知实现，提出了 DejaVu 系统，可在不影响模型质量的情况下将 OPT-175B 的推理延迟降低了 2 倍，并且相比于最先进的 FasterTransformer 实现和广泛使用的 Hugging Fa
PDF8 months ago
SIMD 数据流协同优化用于 CPU 上高效神经网络推理
通过使用数据流和启发式引导分析及代码生成框架，我们致力于解决在 CPU 上部署神经网络时所面临的挑战，特别注重在保持准确性的同时最小化推断时间。我们的研究结果表明，通过保持输出在 SIMD 寄存器中的数据流，并同时最大限度地利用输入和权重重
PDF9 months ago
TVM 中的量化分析
通过分析性能问题并解决图构建中的错误，我们成功改进了量化，并分析多种优化策略，实现了与 TVM 编译基准相比分别达到计算密集任务 163.88% 和内存密集任务 194.98% 的推理时间改进。
PDF10 months ago