POEM: 基于期望最大化的 1 比特逐点运算用于高效点云处理
本文提出了一种针对点云运算的模型二值化方法 BiPointNet,该方法引入了 Entropy-Maximizing Aggregation 和 Layer-wise Scale Recovery 来解决聚合引起的特征同质化和尺度失真问题,并在多个基本任务和主流骨干网络上实现了显著的改善,且在实际应用中取得了显著的性能提升效果,包括 14.7 倍的加速和 18.9 倍的存储节省。
Oct, 2020
该研究提出了 GDPNet,这是第一个综合生成和判别的 PointNet 模型,扩展了 JEM 用于点云分类和生成,既保留了现代 PointNet 分类器的强大判别能力,又生成了与最先进的生成方法相媲美的点云样本。
Apr, 2024
本文介绍了点卷积神经网络(PCNN)的框架和两个算子:扩展和限制。此外,还定义了点云卷积的概念,其具有高效性,不受各种因素的影响,并可将卷积核用于任何点云中。通过三项常见的点云学习基准测试,证明了 PCNN 方法的有效性。
Mar, 2018
本论文提出了一种新颖的全二进制点云 Transformer(FBPT)模型,可以在机器人和移动设备领域得到广泛应用和扩展。通过将 32 位全精度网络的权重和激活压缩为 1 位二进制值,提出的二进制点云 Transformer 网络大幅减少了点云处理任务中神经网络模型的存储占用和计算资源要求。然而,实现全二进制点云 Transformer 网络(除了特定于任务的模块外其他部分均为二进制)在量化 Q、K、V 和自注意力模块中的激活时面临挑战和瓶颈,因为它们不符合简单的概率分布,并且可以随输入数据变化。本文主要关注解决二进制点云 Transformer 模块使用引起的性能下降问题,提出了一种名为动态 - 静态混合化的新型二值化机制,结合整体网络模型的静态二值化和数据敏感性组件的细粒度动态二值化方法。此外,我们还采用了新颖的分层训练方案来获得最佳模型和二值化参数。这些改进使得所提出的二值化方法在点云 Transformer 结构中优于应用于卷积神经网络的二值化方法。为了证明我们算法的优越性,我们在两个不同的任务上进行了实验:点云分类和位置识别。
Mar, 2024
基于 PointNet 的新型点云编解码器,在机器任务分类中实现了更好的速率 - 准确性平衡,相对于非专用编解码器在 ModelNet40 数据集上达到了 94% 的降低 BD 比特率。对于低资源终端设备,我们提出了两种轻量级编码器配置,在 BD 比特率降低 93% 和 92% 的同时,仅消耗了 0.470 和 0.048 的编码器端 kMACs / 点,并降低了 3% 和 5% 的 top-1 准确率,为今后更复杂的任务和数据集提供了专用编解码器的潜力和基础。
Aug, 2023
POET 算法可以实现在边缘设备上训练大型神经网络,同时减少能耗并不修改反向传播的数学正确性。在嵌入式设备的内存限制下,使用 POET 可以比当前边缘训练方法更节能地对 ResNet-18 和 BERT 进行微调。
Jul, 2022
本文提出了一种改进的训练算法,用于针对二元神经网络的权重和激活二进制数的训练,提出了一种新的比 XNOR-Net 更优的方法,通过反向传播学习判别式融合激活和权重缩放因子。实验表明,与分析计算的结果相比,我们的方法更加准确,且在相同的计算预算下,可在 ImageNet 分类任务中提供高达 6% 的准确性提升。
Sep, 2019
本篇论文介绍了基于学习的卷积变换和均匀量化的静态点云数据几何压缩方法,并将解码过程视为点云占用图的二元分类。该方法在 Microsoft Voxelized Upper Bodies 数据集上表现优异,平均 BDBR 节省率达 51.5%,且能够在低比特率下仍产生高分辨率的输出。
Mar, 2019
通过对点卷积操作的不同嵌入机制实验研究,我们提供了第一项广泛的研究,旨在分析这些嵌入机制如何单独编码点邻域信息,并给出了一些建议,可以帮助改进点云的神经网络架构设计。我们发现,最常用的基于多层感知器(MLP)和 ReLU 激活函数的嵌入机制在所有嵌入方式中表现最差,甚至在某些任务上被简单的点坐标线性组合方式超越。此外,我们展示了基于这些嵌入机制的简单卷积神经网络在多个任务上取得了最先进的结果,优于最近和更复杂的操作。最后,我们展示这些发现可以推广到其他更复杂的卷积操作,通过遵循我们的建议,能够改进最近的最先进架构设计。
Oct, 2023