Nov, 2023

Tiny-VBF: 基于 Vision Transformer 的轻量级超声单角度平面波成像低资源波束形成器

PDF
TL;DR利用深度学习架构来加速超声成像中的计算密集型非实时波束形成算法近来愈加受到关注。然而，现有最先进的深度学习技术的复杂性对于资源有限的边缘设备的部署提出了挑战。本文提出了一种基于视觉转换器的微型波束形成器 (Tiny-VBF)，它使用通过单角平面波入射获得的原始射频通道数据。我们的 Tiny-VBF 的输出提供了快速的包络检测，仅需要非常低的帧率，即对于 368 x 128 的帧大小，每帧仅需要 0.34 GOPs / 帧，相比于最先进的深度学习模型。与 Tiny-CNN 在体外数据集上相比，它还显示出了 8% 的对比度增加、5% 和 33% 的轴向和横向分辨率的增益。另外，当与传统的延迟和求和 (DAS) 波束形成器进行比较时，我们的模型显示出了 4.2% 的对比度增加和 4% 和 20% 的轴向和横向分辨率的增益。我们还提出了一种加速器架构，并使用混合量化方案在 Zynq UltraScale+ MPSoC ZCU104 FPGA 上实现了我们的 Tiny-VBF 模型，其资源消耗比浮点实现少 50%，同时保持了图像质量。
compute intensive non-real-time beam-forming algorithmsultrasound imagingdeep learning architecturesvision transformerresource-constrained edge devices
发现论文，激发创造
  • 压缩视觉 Transformer 用于低资源视觉学习

    通过使用模型压缩技术，本研究旨在实现对视觉转换器在资源受限设备上的快速推理，以在边缘环境中将其部署在无人机上，并以最小的准确性损失，以便在监视、环境监测等领域开辟新的可能性。

    Sep, 2023

  • 基于端到端深度学习的超声波波束成形的实验验证

    利用深度学习和数据到图像网络来改善超快速超声成像的图像质量，结果表明即使使用很少的训练数据，该网络架构也能在所有评估指标上提高单平面波图像的质量。

    Apr, 2024

  • VAQF：面向低位视觉 Transformer 的全自动软硬件协同设计框架

    本研究提出了一种名为 VAQF 的框架，该框架可以在 FPGA 平台上为量化的 ViT 模型构建推理加速器，并且可以自动输出所需的量化精度和优化参数设置，以在硬件要求下满足所需的帧速率。通过对基于 DeiT-base 模型的实验结果的评估，实现表明可以在满足 24 帧每秒的帧速率要求的情况下使用 8 位激活量化，以及在使用 6 位激活量化的情况下可以达到 30 帧每秒的目标。

    Jan, 2022

  • 使用深度学习进行大规模天线阵列的波束成形设计

    该研究提出了一种基于深度学习的射束成形网络（BFNN）来最大化光谱效率的设计方法，该方法针对大规模天线阵列、有限的射频链路和相移器的模拟设计，能够有效处理不完善的信道状态信息问题，该方法的仿真结果表明其性能明显优于传统方法。

    Apr, 2019

  • 无线通信的多模态变压器：波束预测案例研究

    本文介绍了一种多模态变压器深度学习框架，用于辅助感知的波束预测。通过使用卷积神经网络从一系列图像、点云和雷达原始数据中提取特征，并使用变压器编码器学习不同模态和时间实例之间的隐藏关系，生成下一级特征提取的编码向量。通过在不同模态的组合上进行监督学习来训练模型，实验结果表明，使用图像和 GPS 数据训练的解决方案在预测波束的距离准确率方面表现最佳，为 78.44％，并具有有效的推广性。

    Sep, 2023

  • WidthFormer: 高效基于 Transformer 的 BEV 视角转换

    通过提出的 WidthFormer 模型，本研究将 Bird's-Eye-View（BEV）3D 检测方法应用于实时自动驾驶应用，其具有计算效率高、有效、无需特殊工程部署等特点，并通过引入 3D 位置编码机制实现了准确融合 3D 几何信息，从而实现生成高质量 BEV 表示的目标。

    Jan, 2024

  • 近场点状波束聚焦：一种关联感知的迁移学习方法

    基于 ELPM 的近场 SBF 通过引入相位分布图像的相似度标准和迁移学习技术，提出了一种更快的 CSI 独立解决方案，通过模拟表明该方案可以提高训练速度约 5 倍，并通过 DFP 策略混合过程增加了收敛速度高达 8 倍。

    May, 2024

  • RF-ULM：射频超声定位显微镜的深度学习

    采用超分辨率深度神经网络和几何点变换的射频超声成像技术在定位过程中发现有巨大潜力，可以有效地提高精度和复杂性，弥合了合成和真实数据集之间的领域差距。

    Oct, 2023

  • 一种基于 Vision Transformer 的高效近场不规则 SAR 超分辨率方法

    本文介绍了一种移动友好的视觉变换（ViT）算法，称为 Mobile-SRViT，用于在不规则采样几何下处理合成孔径雷达（SAR）图像。该算法采用 ViT 方法进行 SAR 图像超分辨率 (SR) 处理，并在模拟和经验研究中进行验证。

    May, 2023

  • 使用视觉 Transformer 进行实时语义通信演示

    该论文提出了一种基于端到端深度神经网络结构的图像传输方法，利用现场可编程门阵列（FPGA）在实时无线信道上实现了原型测试，结果表明该系统在使用流行的 CIFAR-10 数据集时，比传统 256 正交幅度调制系统在低信噪比情况下表现更好。本文是第一篇使用视觉变换器实现和研究实时语义通信的工作。

    May, 2022