PointMixer: MLP-Mixer 用于点云理解
本文提出了 PatchMixer 架构,通过处理局部补丁和使用 MLP 聚合补丁特征,将 MLP-Mixer 的思想扩展到 3D 点云中,以提高深度网络架构的泛化性能。
Jul, 2023
本文提出了一种基于多层感知器 (MLP) 的架构,MLP-Mixer,它不需要使用卷积和注意力机制,包含两种类型的层,一种将 MLP 应用于图像补丁,一种将 MLP 应用于补丁之间的位置信息,具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本,希望鼓励更多超越 CNN 和 Transformer 的研究。
May, 2021
本文提出了一种名为 PointMLP 的纯残差 MLP 网络,它不使用复杂的局部几何提取器,但仍能表现出很高的竞争力,装备了提出的轻量级几何仿射模块,PointMLP 在多个数据集上都达到了新的最佳状态,相对于大多数最近的 CurveNet,PointMLP 的训练速度快两倍,测试速度快七倍,并在 ModelNet40 基准测试中获得更高的精度。
Feb, 2022
本文提出 HyperMixer 模型,通过使用超网络动态形成令牌混合 MLP 实现自然语言理解,相比于现有的 MLP-based 模型和 Transformer,在处理时间、训练数据和超参数调整方面具有更低的成本,并在实证中表现更好。
Mar, 2022
本文提出了一个称为 Dyn Mixer 的高效 MLP-like 深度学习网络结构,用于动态信息融合,并且通过一个过程生成融合矩阵,以应对 tokens 的内容,并通过采用降维技术和多段融合机制来减少时间复杂度和提高鲁棒性。Dyn Mixer 模型不需要额外的训练数据,在 ImageNet-1K 数据集上达到了 84.3%的准确率,参数数量减少到 26M 时,仍然获得 82.7%的 top-1 准确率,胜过类似容量的现有 MLP-like 模型。
Jan, 2022
本文探讨了基于点云的方法在点云分析中的应用,提出了一种聚合邻近特征的高维向量的 “Vector-oriented Point Set Abstraction” 方法,并开发了一种 PointNeXt 结构的 PointVector 模型以提高特征提取的效率,此方法在 S3DIS Area 5 上和 S3DIS (6 折交叉验证) 上取得了 72.3% 和 78.4% 的 mIOU 的优异表现,在研究中探索了更加紧凑和有效的特征表示方法。
May, 2022
本文提出利用插值增强点云的数据,定义了点云之间的最短路径线性插值,介绍了 PointMixup 方法进行插值,可以引入基于插值的正则化方法,例如 mixup 和 manifold mixup,证明了 PointMixup 可以找到点云之间的最短路径,实验显示它能够显著提高点云分类的性能,特别是在数据不足以及噪声和几何变形的情况下。
Aug, 2020
提出了一种通过跨尺度的本地和全局聚合学习动态低秩变换以实现空间通道混合的分层视觉 MLP(Vision MLP)方法,该方法在流行的图像识别基准测试中取得了有竞争力的结果。
Aug, 2023
研究了多个神经架构之间的相似性和差异性,通过对耦合流与蝴蝶变换的研究,提出了非线性蝴蝶混合器,包括 Butterfly MLP 和 Butterfly Attention,证明了它们在处理不同维度的输入上的高效性和可扩展性。
Nov, 2023
本论文介绍了一种基于 transformer 模型的多头自注意力结构和位置融合块的点云上采样方法,并通过定量和定性的对比实验证明了其优越性能。
Nov, 2021