collaborative inference | BriefGPT

关键词collaborative inference

搜索结果 - 15

低延迟大型语言模型的 LiveMind：具有同时推理的特性
本文介绍了一种用于大型语言模型（LLMs）的新型低延迟推断框架，使 LLMs 能够使用不完整的提示进行推断，并通过重新分配计算过程到提示输入阶段，实现了大幅度的延迟降低，从而显著提高用户与 LLMs 的交互体验。该框架灵活地管理模型对流式提
PDF14 days ago
注意力感知的协作推理中的语义通信
提出一种在边缘推理领域内，通过有效利用视觉 Transformer（ViTs）模型的通信高效的协同推理框架。该框架运用了轻量级的 ViT 模型在边缘设备上，服务器采用复杂的 ViT 模型，以提高通信效率并实现与服务器模型相当的分类准确性，通
PDF4 months ago
DeViT：分解视觉 Transformer 用于边缘设备的协同推理
最近的研究已经取得了视觉转换器 (ViT) 的巨大成功，在多个计算机视觉基准测试中取得了最先进的性能。然而，ViT 模型受到庞大的参数量和高计算成本的限制，导致在资源受限的边缘设备上难以部署。为了解决这个问题，我们提出了一种探索转换器结构的
PDF10 months ago
轮盘：基于语义的隐私保护设备边缘协作推理框架用于深度学习分类任务
本文介绍了一种针对深度学习分类器的任务导向语义隐私保护的协作推断框架 Roulette，通过使用分割学习、加密机制和差分隐私保证等技术，有效提高推断准确性并保护用户的隐私信息。
PDF10 months ago
PATROL: 面向隐私的剪枝策略，抵御模型反推攻击的协同推理
PATROL 是一种可行的解决方案，它通过引入两个关键组件：Lipschitz 正则化和对抗重构训练，以实现面向隐私的修剪，从而在保护隐私的同时提高推断模型的稳定性和准确性。
PDFa year ago
基于 PPG 的心率估计的可穿戴到移动设备的节能机器学习推断卸载
该研究提出了一种协作推理方法，旨在通过智能手表与智能手机之间的合作来最大化心率追踪的性能，并在维持低的均方误差 (MAE) 的同时降低能耗。
PDFa year ago
PrivaScissors：透过互信息的视角增强协作推断的隐私保护
本文介绍了一种名为 PrivaScissors 的防御策略，可通过降低模型中间结果与设备数据、预测之间的互信息来增强协作推理的隐私性，经在多个数据集中进行攻击测试，具备理论上的鲁棒性保证。
PDFa year ago
DuetFace: 频域信道分割协同保护隐私的人脸识别
本文介绍了 DuetFace，一种新颖的隐私保护人脸识别方法，该方法采用频域中的协同推断，通过利用高频通道的相似性，设计了一种信任分割频道的方法，并且通过插件交互块进行注意力转移，实现了对面部图像的保护和高效率识别。
PDF2 years ago
ICML通过边缘 PRUNE 框架实现容错协同推理
本文提出了基于形式化定义的 Edge-PRUNE 分布式计算框架，旨在为容错协作推断提供灵活的基础设施。实验结果显示了通过协作推断实现的可行推断时间节省及其花费。
PDF2 years ago
C-NMT：神经机器翻译协作推理框架
本研究旨在探索并解决协作神经机器翻译中的问题，利用 Collaborative Inference（CI）方法，结合边缘计算和云计算设备之间的互操作性来优化深度学习中推理的时延和能量消耗，实验表明将此方法应用于神经机器翻译中，相较于非协作方
PDF2 years ago
SubTab: 自监督表示学习中的表格数据特征子集
本文介绍了一种新框架 SubTab, 通过将输入特征分成多个子集，将学习表格数据的任务转化为多视图表示学习问题，从而捕捉其潜在的潜在表示。在 MNIST 数据集上，SubTab 取得了 98.31％的表现，与 CNN 的最新结果持平，并在三
PDF3 years ago
KDDEARLIN: 面向资源高效协作推理的早期 OD 检测
本文提出了一种新颖的基于预训练卷积神经网络模型的轻量级 OOD 检测方法 EARLIN，通过定义降维特征空间上的距离函数从浅层中挖掘重要特征来检测输入样本是 ID 还是 OOD，无需对已有模型重新训练或使用 OOD 数据集来获取检测参数，通
PDF3 years ago
MM边缘人工智能：通过边缘计算加速深度神经网络推理
该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent，通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理，进而降低计算延迟，实现低延迟边缘智能处理。
PDF5 years ago
异步网络中的多任务扩散适应
本文提供了一种解决异步网络上多任务问题的模型，它采用多任务扩散 LMS 算法以协作的方式同时推断多个参数向量，并描述了详细的均方误差分析，该算法在充足步长的条件下保证稳定和性能，并将其应用于光谱感知的特定应用中。
PDF10 years ago
NIPS稳健的多模态图匹配：稀疏编码遇上图匹配
研究提出了一种基于稀疏技术的鲁棒图匹配算法，可处理加权或非加权图，也适用于不同类型数据的多模态图，并结合合作式图推理技术解决不同模态数据的一般网络推理问题，并以脑功能磁共振成像数据为例进行了应用与验证。
PDF11 years ago