Oct, 2023

基于上下文感知的高效物联网推理

PDF
TL;DR在资源受限环境中，采用上下文感知的策略，即专注于当前上下文中可能的类别，可以显著提高基于深度学习的分类模型在低功耗平台上的性能。本文提出了一种名为 CACTUS 的新范式，用于可扩展和高效的上下文感知分类，通过微分类器识别与当前上下文相关的一小组类别，在上下文变化时迅速切换到另一个合适的微分类器，实现了上下文感知分类器的训练成本优化、在运行时动态切换分类器，并在资源有限的情况下选择最佳的上下文感知分类器。我们展示了 CACTUS 在一系列数据集和物联网平台上在准确性、延迟和计算资源方面带来的显著优势。
发现论文，激发创造
  • 物联网的上下文感知计算：综述

    本文介绍了物联网范式和上下文感知的基础知识，并从物联网的角度对上下文感知进行了调查，涵盖了与上下文感知和物联网相关的很多技术，方法，模型、应用程序和中间件解决方案，并对过去十年中进行的 50 个研究和商业解决方案进行了评估和总结，讨论了它们的发现以及其在物联网中的适用性，并提出了未来的研究方向。

    May, 2013

  • 融合物理和虚拟传感器数据的用户情境轻量级建模

    本文介绍了一个框架，可收集来自个人移动设备的数据集，包含异构传感器数据，使用六种降维技术，可以在保持准确率损失小于 3% 的情况下，实现 10 倍加速和超过 90% 的特征减少，从而提高上下文分类能力。

    Jun, 2023

  • 上下文感知语义分割分类器的学习

    利用数据依赖的上下文感知分类器通过学习附加环境提示，适应不同的潜在分布，从而解决分割不同场景多样化特征分布的困难，进而显著提高分割模型的性能.

    Mar, 2023

  • 基于大型语言模型的上下文感知聚类

    使用开源的大型语言模型（LLMs）进行效率高且有效的监督聚类，通过捕捉上下文来聚类实体子集。通过引入一种新的改进的三元损失函数和基于文本增强技术的自监督聚类任务，我们的方法在各种电子商务查询和产品聚类数据集上显著优于现有的无监督和有监督的基准。

    May, 2024

  • 级联深度分类器的高效摊销推理

    该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

    Oct, 2017

  • 面向上下文的语音识别变换器转录器

    本文介绍了一种基于上下文的自动语音识别系统：context-aware transformer transducer (CATT) 网络，通过多头注意力机制、编码上下文数据和使用 BERT 等技术方法，取得了比基线 transformer transducer 和现有深度上下文模型分别提高了 24.2% 和 19.4% 的词错误率性能提升。

    Nov, 2021

  • 多语言上下文适配器：提高低资源语言中自定义单词识别的效果

    本文提出了一种监督损失的方法来平滑 Contextual Adapters 的训练，进一步探讨了多语言策略以提高有限的训练数据的性能，结果在一个低资源语言中检索未见过的自定义实体方面取得了 48％ F1 的提升。

    Jul, 2023

  • 边缘自适应基于人工智能应用程序的能源感知设计方法

    在本文中，我们提出了一种能够平衡应用目标与能耗的采用能量感知方法的自适应 AI 应用程序的设计和部署方法，通过元启发式搜索过程确定可用于自适应系统的配置集合，并使用加权灰色关联分析将最终的配置映射到自适应应用程序的操作模式，验证结果表明，我们的自适应应用程序在节省高达 81% 的能源的同时，仅在准确率上损失了 2% 至 6%。

    Aug, 2023

  • SpArSe: 基于稀疏性的卷积神经网络在资源受限 微控制器中的架构搜索

    本文介绍了如何在内存受限的微控制器单元（MCU）上部署卷积神经网络（CNN），并提出了一种自动设计 CNN 的框架 Sparse Architecture Search，将神经架构搜索与剪枝相结合，通过在 IoT 数​​据集上的测试，证明了这种方法可以在满足 MCU 内存限制的同时实现更好的性能。

    May, 2019

  • 通过选择性边缘执行改善物联网分析

    本研究旨在提高 IoT 设备分析数据的性能，通过使用边缘计算服务器来增强分析，具体使用算法进行优化，使得可以智能地利用云端服务满足需求

    Mar, 2020