model inference | BriefGPT - AI 论文速递

关键词model inference

搜索结果 - 13

大型语言模型的高效提示方法综述
在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。
PDF3 months ago
FP6-LLM: 通过 FP6 中心算法系统共同设计高效服务大型语言模型
通过提出的 TC-FPx 全栈 GPU 核心设计方案，结合张量核心支持，为量化的大型语言模型推理提供全新的端到端支持（称为 FP6-LLM），实现了推理成本和模型质量之间的更好平衡。
PDF5 months ago
E-Sparse: 通过基于熵的 N:M 稀疏性提升大型语言模型推理
传统修剪方法在大型语言模型中的使用具有挑战性，因为训练过程代价高且计算需求大。我们首次引入隐藏状态特征的信息熵作为修剪度量设计，即 E-Sparse，以提高大型语言模型的 N:M 稀疏性准确性，并通过引入信息熵和几种创新技术来快速优化信息分
PDF8 months ago
模型之外：Android 应用中的深度学习模型数据预处理攻击
本文介绍对真实世界的基于数据处理的深度学习应用攻击。结果表明，81.56％的应用程序可以成功攻击，这凸显了了解并采取保护数据处理方面的安全措施在设备上的深度学习模型的重要性。
PDFa year ago
基于嵌入式检索的完整性和垃圾数据处理：以社交网络搜索为例的案例研究
本文对基于嵌入式检索系统在社交网络搜索引擎上的应用进行了分析，在此基础上定义了完整性和垃圾这两大关键问题，并提出了一些有效方法用于解决该问题。作者指出，虽然这些方法还只是初步尝试，但已经取得了良好的离线指标和在线实验数据，未来还有更多研究可
PDFa year ago
AAAI跨多个领域联合推断中连接多个黑盒模型的 MLink
本文研究了基于黑盒机器学习模型的模型链接学习任务，提出了一种模型链接设计来支持黑盒模型的链接，并针对分布差异性挑战，提出了模型链接的自适应和聚合方法。通过模型链接实现多模型协作推断可以在成本预算下提高推断结果的准确度，定量实验表明，与多任务
PDF2 years ago
AutoDiCE: 边缘全自动分布式 CNN 推理
本文提出了名为 AutoDiCE 的框架，该框架可自动将卷积神经网络模型分割成多个子模型，并自动生成代码以在多个边缘设备上执行这些子模型，从而支持边缘计算中的分布式 CNN 推断。实验结果表明 AutoDiCE 能够以更少的能量和内存使用量
PDF2 years ago
AAAIIFBiD: 推理无关的偏差检测
利用卷积神经网络的权重分析来检测模型的偏差，本文在使用有色 MNIST 数据库的玩具例子和使用最先进的方法和实验资源进行性别识别的现实案例研究中，发现无需对特定输入进行模型推理，查看权重即可判断模型是否存在偏差。在 MNIST 模型中，我们
PDF3 years ago
ACL双向对抗训练的神经主题建模
提出了一种用于文本中的主题抽取的神经主题建模方法，Bidirectional Adversarial Topic (BAT) 模型，该模型使用双向对抗训练构建文档 - 主题分布和文档 - 单词分布之间的两向投影，并扩展了 Gaussian-
PDF4 years ago
ICML大数据贝叶斯留一验证
模型推理是模型开发的重要部分，Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用，但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法，用于快速评估大型数据集的 LOO 模型，提供了理论和实证
PDF5 years ago
可扩展的生化过程常微分方程模型推断
本文综述了目前用于参数估计和模型推断的先进方法，重点关注了可扩展性，在特别是在大规模模型的分析中，高效算法可以显著减少计算时间所需。
PDF7 years ago
使用推断自动机搜索证明的 SEPIA
SEPIA 为 Coq 提供了自动化证明的新工具，它将模型推断与交互式定理证明相结合，使用状态模型从策略序列中推断证明，经评估发现 SEPIA 在三个 Coq 数据集上的表现可作为现有自动化策略的有用补充。
PDF9 years ago
ICML部分观测环境下模型参数的学徒学习
通过推断专家演示背后的行动选择过程，学习具有一定不确定性的部分可观测环境中的任务，可以更准确地估计 POMDP 参数并从短暂演示中获得更好的策略，与仅从环境反应学习的方法相比更为有效。
PDF12 years ago