Jun, 2024

SGSM: 一种类似基础模型的半广义感知模型

PDF
TL;DR智能传感系统的重要性在智能服务领域日益增长。我们提出了一种新的感知模型方案，称为半通用感知模型 (SGSM)，它能够使用相对较少的特定任务标记数据来解决各种任务。通过对共同的理论模型进行分析构建的 SGSM 能够描述不同的模态，如声学和 Wi-Fi 信号。实验结果表明，SGSM 能够在广泛的场景中发挥作用，甚至在某些情况下比传感器特定的专业解决方案表现更好。将 SGSM 应用于现有的感知模型时，Wi-Fi 评估显示精度提高了 20%。
intelligent sensing systemsfeature extractionsemi-generalist sensing modeltask-specific labeled datawi-fi signal
发现论文，激发创造
  • 在多传感器地理空间基础模型中连接远程传感器

    msGFM 是一个多传感器地理空间基础模型，有效地汇集来自四个关键传感器模态的数据，适用于各种类型的传感器，包括遥感图像分类、分割、云去除和泛光等任务，为发展多传感器地理空间预训练模型提供指南。

    Apr, 2024

  • SkySense: 一种面向地球观测影像的多模态远程感知基础模型

    SkySense 是目前最大的多模态遥感基础模型，通过多种模态的时空序列输入，采用 Multi-Granularity Contrastive Learning 和 Geo-Context Prototype Learning 进行预训练学习，能灵活结合或单独使用其模块以适应各种任务，并在 16 个数据集上的 7 个任务中表现出了卓越的泛化能力，超过了 18 个最新的遥感基础模型。

    Dec, 2023

  • 大型多模态模型 (LMM) 作为面向 AI 原生无线系统的通用基础模型

    本文解决了利用大型语言模型（LLMs）和基础模型设计人工智能（AI）本地网络的问题，提出了一种以无线为中心的基础模型架构，其中包括多模态模型，通过神经符号 AI 进行逻辑和数学推理，并展示了 RAG 在 LMMs 中的有效性，以及 LMMs 相对于 vanilla LLMs 在数学问题回答方面表现出的增强的推理能力。

    Jan, 2024

  • HyperSIGMA：高光谱智能理解基础模型

    对于富含光谱信息的高光谱图像（HSI），我们引入了基于 Vision Transformer 的基础模型 HyperSIGMA，通过一种新颖的稀疏采样注意力机制 (SSA) 有效地解决了光谱和空间冗余的挑战，并使用特别设计的光谱增强模块，将空间和光谱特征进行整合。 HyperSIGMA 在各种高级和低级 HSI 任务上的广泛实验证明了其多功能性和优越的代表能力，同时显示出在可扩展性、健壮性、跨模态传输能力和实际应用性方面的显著优势。

    Jun, 2024

  • 零射黑底物理层语义感知网络

    通过基于物理层语义感知网络的零样本学习方法，本文提出了一种新的无设备无线感测解决方案，可以解决数据异质性和分布式感测数据隐私问题，实现基于先前构建的模型在其他位置的传递和聚合，而无需标记的数据进行局部模型训练。实验结果验证了该解决方案得出的模型准确性与基于监督学习方法训练的真实标记数据的模型相匹配。

    Dec, 2023

  • 通用多模态 Transformer 满足遥感语义分割

    在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

    Jul, 2023

  • RSBuilding: 通向通用遥感图像建筑目标提取和变化检测的基础模型

    提出了一种综合的遥感图像建筑理解模型，具有跨场景泛化和任务普适性，可以同时处理建筑提取和变化检测等两个结构不同的任务，并展现出鲁棒的零样本推广能力。

    Mar, 2024

  • 从泛化分析到状态空间模型的优化设计

    本文研究了状态空间模型（SSM）的普适性，并提出基于普适性结果改进训练算法的方法。具体地，我们给出了一种依赖数据的 SSM 普适性界限，展示了 SSM 参数与训练序列的时间依赖性之间的相互作用。基于该普适性界限，我们（1）建立了一个基于提出的普适性度量的模型初始化缩放规则，显著提高了 SSM 对序列数据中不同时间模式的输出值尺度的稳健性；（2）引入了一种新的正则化方法来提高 SSM 的普适性性能。通过数值实验验证了我们的结果。

    May, 2024

  • 多模式基础模型增强弱监督语义分割：一种端到端方法

    使用弱监督语义分割方法解决数据标注成本高的问题，通过借鉴视觉基础模型来学习对象边界从而提高分割结果的质量。

    May, 2024

  • 高斯混合模型的统计压缩感知

    本研究提出了基于统计压缩感知（SCS）的压缩感知（CS）新框架，探索了基于高斯模型的 SCS，对单高斯模型下的信号进行了深入探究，并介绍了用于 GMM 型的信号模型选择、解码的分段线性估算器，提出了最大后验期望最大化算法用于 GMM 型 - SCS 的解码过程。结果表明，与传统 CS 相比，GMM 型 - SCS 在图像感知应用中具有更低的计算成本且具有更好的结果。

    Jan, 2011