Jun, 2024

具有几何变换器的概率与可微分无线仿真

PDF
TL;DR设计现代通信系统需要模拟电磁信号传播，为了解决相反问题和自动化设计，文章提出使用基于几何代数的可微分神经替代模型进行模拟。通过引入无线几何代数变换器（Wi-GATr）作为骨干架构，在三维环境中模拟无线传播。同时研究了基于可微分预测建模和扩散模型的信号预测和反问题的两种算法方法，并在实验中验证了该方法相较于基线方法在使用更少数据的情况下能达到更高的精度。
发现论文，激发创造
  • 几何代数变换器

    本文介绍了一种用于处理几何数据的通用框架 ——Geometric Algebra Transformer (GATr)，它能够高效地表示常见几何物体及其运算符，并能够保持几何物体的对称性，经实验表明其在 n-body modeling 和机器人规划方面的表现明显优于无几何基线模型。

    May, 2023

  • 洛伦兹等变几何代数变换器在高能物理中的应用

    从粒子物理实验中提取科学理解需要高精度和良好的数据效率来解决多样的学习问题。我们提出了 Lorentz Geometric Algebra Transformer（L-GATr），这是一个用于高能物理的全新多功能架构。L-GATr 将高能数据表示为四维时空的几何代数，并在 Lorentz 变换下等变，这是相对论运动学的对称群。同时，该架构是一个 Transformer，使它具有很强的灵活性和可扩展性。L-GATr 首先在粒子物理的回归和分类任务上得到验证。然后，我们构建了第一个 Lorentz 等变生成模型：基于 L-GATr 网络的连续正态流，使用 Riemannian 流匹配进行训练。在我们的实验证明中，L-GATr 与强领域特定的基线模型相媲美甚至更优秀。

    May, 2024

  • 选择欧几里德、射影、共形几何代数用于等变变换器

    基于射影几何代数的几何代数变换器 (GATr) 是一种多功能的几何深度学习架构，我们将其推广为一种蓝图，可用于根据任何几何（或 Clifford）代数构建可扩展的变压器架构。我们研究了欧几里德、射影和共形代数的不同版本的该架构，它们都适用于表示 3D 数据，并在理论和实践中对它们进行评估。最简单的欧几里德架构计算成本低廉，但对称群较小且样本效率较低，而射影模型的表达能力不足。共形代数和改进版本的射影代数都定义了强大而高效的架构。

    Nov, 2023

  • 应用物理信息的生成神经网络用于室内人体感知的射频传播预测

    该研究论文讨论了一种基于变分自编码器（VAE）的物理约束生成神经网络模型，用于模拟人体运动对电磁场的影响并融合电磁体绕射原理。通过与经典绕射基于电磁工具和全波电磁体模拟进行验证。

    May, 2024

  • WiGenAI: 无线通信与生成式人工智能的交融：扩散模型的交响乐

    使用生成式人工智能 (generative AI)、扩散模型 (diffusion models) 和去噪扩散概率模型 (DDPM) 研究了其在无线通信系统中的应用，并提出了具有鲁棒性的 AI 原生通信系统的发展方向与开放问题。

    Oct, 2023

  • 信号传播的几何动力学预测 Transformer 的可训练性

    深度随机初始化的 transformer 中的前向信号传播和梯度反向传播进行了研究，得出了初始化超参数的简单必要和充分条件，以确保 transformer 的可训练性。

    Mar, 2024

  • 电磁波反问题的统一可验证神经模拟器

    基于神经网络的模拟器提供了比电磁波传播模拟快数个数量级的路径。我们展示了一个统一的模型，能够解决数千自由度的散射模拟问题，适用于任何波长、任何照明前波前以及任何自由形式的材料，模型基于一种关注的多条件策略，并允许非循环监督和预测中间物理状态，这提供了更好的泛化性能而无需额外的数据生成成本。使用这种 O (1) 的中间预测能力，我们提出并证明了有效可计算的预测误差上界，使得所有预测在推断时都能提供准确性保证。在仅使用随机系统训练后，我们通过一套具有挑战性的多学科反问题展示了统一模型，在光学断层扫描、体积随机介质中的光束成形和自由光子反设计等问题中，我们发现性能和速度改进效果达到 96%，而无需特定问题的训练。我们的发现展示了一种通向现有散射模拟器的通用、可验证准确的神经替代品的路径，而我们的条件和训练方法直接适用于任何允许时域迭代求解器的偏微分方程。

    Mar, 2024

  • EM-GANSim：基于条件生成对抗网络的三维室内场景电磁实时准确模拟

    我们提出了一种用于在 3D 室内环境中进行无线通信模拟的实时电磁 (EM) 传播的新型机器学习 (ML) 方法 (EM-GANSim)。我们的方法使用了一种修改后的条件生成对抗网络 (GAN)，该网络融合了编码几何和发射机位置，并符合电磁传播理论。整体上，基于物理启发的学习能够预测 3D 场景中的功率分布，该分布用热度图表示。我们的整体准确度与基于射线追踪的 EM 模拟相当，这表现在较低的均方误差值上。此外，我们基于 GAN 的方法大幅减少了计算时间，在复杂基准测试上实现了 5 倍加速。实际上，它可以在几毫秒内计算 3D 室内环境中任何位置的信号强度。我们还提供了一个包含 3D 模型和 EM 射线追踪模拟热度图的大型数据集。据我们所知，EM-GANSim 是在复杂 3D 室内环境中进行 EM 模拟的第一个实时算法。我们计划发布代码和数据集。

    May, 2024

  • 无线通信的多模态变压器：波束预测案例研究

    本文介绍了一种多模态变压器深度学习框架，用于辅助感知的波束预测。通过使用卷积神经网络从一系列图像、点云和雷达原始数据中提取特征，并使用变压器编码器学习不同模态和时间实例之间的隐藏关系，生成下一级特征提取的编码向量。通过在不同模态的组合上进行监督学习来训练模型，实验结果表明，使用图像和 GPS 数据训练的解决方案在预测波束的距离准确率方面表现最佳，为 78.44％，并具有有效的推广性。

    Sep, 2023

  • 基于生成扩散模型的射频无线信道建模与采样

    本文提出了一种基于扩散模型的信道采样方法，用于快速合成有限数据中的信道实现。实验证明，相比于基于 GAN 的方法，该基于扩散模型的方法在训练稳定性和生成多样性方面表现更好，并且可以使用有限数据对真实世界信道进行建模。

    Aug, 2023