预训练的 3D 点云模型的稳健微调

Apr, 2024

Robust Fine-tuning for Pre-trained 3D Point Cloud Models

Zhibo Zhang, Ximing Yang, Weizhong Zhang, Cheng Jin

TL;DR该论文提出了一种针对预训练的 3D 点云模型的鲁棒微调方法，以增强下游微调模型中的特征鲁棒性。通过权重空间集成和线性探测相结合的方法，该方法显著提高了下游微调模型在分布变化情况下的性能，同时在目标分布上保持高性能，以提高特征鲁棒性。将这种鲁棒微调方法应用于主流的 3D 点云预训练模型，并评估模型参数的质量和下游任务性能的降低。实验结果表明，WiSE-FT-LP 方法有效提升了模型的鲁棒性，有效平衡了下游任务性能和模型特征的鲁棒性，而不改变模型结构。

Abstract

This paper presents a robust fine-tuning method designed for pre-trained 3D point cloud models, to enhance feature robustness in downstream fine-tuned models. We highlight the limitations of current fine-tuning m

fine-tuning method 3d point cloud models feature robustness weight-space ensembles for fine-tuning then linear probing downstream task performance

发现论文，激发创造

零样本模型的鲁棒微调

本文介绍了一种名为 WiSE-FT 的简单而有效的方法，可以通过对预先训练模型的加权平均来提高微调模型的鲁棒性，从而在分布移位下实现大幅度的准确性提升，并在不增加额外计算成本的情况下实现。

Sep, 2021

Point-PEFT: 3D 预训练模型的参数高效微调

通过 Point-PEFT 框架，我们能够在只使用可训练参数的 5% 的情况下，实现优于完全微调的性能，充分展示了我们方法的高效性和有效性。

Oct, 2023

加权局部变换的点云增强

提出了一种名为 PointWOLF 的点云数据增强方法，通过局部加权变换中心的多个锚点生成平滑变化的非刚性变形，以实现多样化和逼真的数据增强，并结合 AugTune 进行优化，实现了其在形状分类和部位分割任务中表现的提升，特别是使用 PointNet++ 和 ScanObjectNN 数据集时，达到了 89.7 的准确度，达到了最先进的水平。

Oct, 2021

3D 点云深度可变放大可扩展上采样

本文提出了一种基于学习的框架，通过自适应地分析输入点云的局部几何结构，设计出轻量级神经网络来统一、排序插值权重以及高阶细化，从而生成具有密集点云的物体 / 场景，并处理非均匀分布和噪声数据，该方法于现实世界中的各种上采样因子都可运作，并在合成和实际数据上均获得了优于现有方法的表现。

Nov, 2020

虚假特征多样化提高离域泛化

通过理论分析和实证研究，我们发现在处理超越分布数据的机器学习任务中，利用多样的偶然特征进行加权模型集成可以显著提高整体的超越分布泛化性能，而不同于传统观点所认为的学习不变特征的方法。此外，我们提出了一种名为 BAlaNced averaGing (BANG) 的方法，可以有效修复原有方法 WiSE-FT 在超越分布情况下的过度自信问题，进一步提升其超越分布性能。

Sep, 2023

精调预训练大型语言模型中的稀疏是足够的

通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

Dec, 2023

SMART: 面向预训练自然语言模型的强健高效微调技术

本文提出一种基于 Bregman 的 Trust-Region 优化的平滑正则化框架，用于更加有效地对预训练语言模型进行微调，避免过拟合和知识遗忘，通过实验表明在多项 NLP benchmarks 上达到了最新的性能水平。

Nov, 2019

恢复生成模型的预 Fine-Tuning 权重

通过使用少量低秩（LoRA）微调模型，我们提出了一种名为 Spectral DeTuning 的方法，能够恢复出预微调模型的权重，利用这一新的漏洞攻击大规模模型。

Feb, 2024

PointPWC-Net: 一种基于粗到细的网络，用于 3D 点云的监督学习与自监督学习场景流估计

本文提出了一种新颖的端对端深度场景流模型 PointPWC-Net，通过粗到细的方式处理 3D 点云数据，包括新型的成本体量、上采样和变形层来有效地处理 3D 点云数据，利用自监督损失进行训练。实验结果表明，在 FlyingThings3D 数据集上超过了现有技术，并且在未经微调的情况下，在 KITTI Scene Flow 2015 数据集上表现出很好的泛化能力，优于所有先前的方法。

Nov, 2019

无导数权重空间集成

最新研究表明，在两个专门的语言模型的权重之间进行插值可以以多任务学习无法实现的方式在任务之间转移知识。然而，极少有人探索过在两个以上模型之间进行插值，每个模型具有不同的知识库。本文介绍了一种称为 DFWE（Derivative Free Weight-space Ensembling）的新的基于少样本的任务迁移方法，用于开放领域对话。我们的框架使用预定义的源任务集创建了一组多样的专家语言模型。然后，我们在目标任务上对每个专家模型进行微调，从多个不同的知识库中处理目标任务。最后，我们使用无梯度优化算法在模型权重之间进行线性插值，以有效地找到一个好的插值权重。我们在 FETA-Friends 上展示了该方法的有效性，其优于标准的预训练 - 微调方法。

Jul, 2023