本文探讨如何使用预训练的 2D 知识，通过 Point-to-Pixel Prompting 对预训练的图像模型进行微小调整，以适应于点云分析任务。经过广泛实验，该方法取得了很好的成绩，并在 ScanObjectNN 的最难设置上达到了 89.3% 的准确度。

Aug, 2022

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似LoRA的权重注入，而不需要额外的架构修改。我们的方法在COCO字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

Dec, 2023

规模化预训练视觉模型（PVMs）在各种下游视觉任务中表现出很大的适应性。然而，随着最先进的PVMs达到数十亿甚至数万亿参数，传统的完全微调范式变得难以持续，因为其需要巨大的计算和存储需求。为了应对这一挑战，研究人员正在探索参数高效的微调（PEFT），旨在通过最小的参数修改超越完全微调的性能。本调查提供了对视觉PEFT的综合概述和未来方向，对最新的进展进行了系统回顾。首先，我们提供了PEFT的正式定义，并讨论了模型预训练方法。然后，我们将现有方法分为三类：基于添加的、基于部分的和基于统一的。最后，我们介绍了常用的数据集和应用，并提出了未来研究的潜在挑战。所有相关资源可以在该链接中找到。

Feb, 2024

针对视觉-语言（VL）任务的参数高效微调方法，使用名为路由函数的操作在低秩瓶颈中增强了VL对齐，极大地改善了原始PEFT方法在各种VL PEFT设置中的表现，包括20%的提升（在VQAv2上）和30%的提升（在COCO Captioning上），同时也在多种VL PEFT任务中对预训练的多模态模型（如CLIP-BART）进行微调时观察到了较小但一致的改进。

Mar, 2024

通过介绍Parameter Efficient Fine-Tuning算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

本文试图利用预训练的2D模型直接处理3D点云数据，并提出了Adaptive PointFormer（APF）模型，通过维度对齐和序列化点嵌入，优化2D注意力先验的利用，以实现对3D点云的分析任务。

Jul, 2024

本研究针对点云分析中的位置编码结构简单性问题提出一种新方法，通过构建多尺度特征抽象模块，实现了对局部和全球信息的综合考虑。研究表明，所提出的PPT方法在多个主流数据集上表现出色，仅使用1.05%的参数进行训练，达到最新的最佳成果，具有显著的应用潜力。

Aug, 2024

本研究针对现有点云模型需进行全面微调的问题，提出了一种新颖的参数高效微调方法PointGST。该方法通过引入轻量级可训练的点云光谱适配器（PCSA），在光谱域有效地减少了训练成本的同时，实现了知识的高效转移，从而在多个任务中超越了传统的全面微调方法。

Oct, 2024

本论文解决了在硬件资源有限的情况下，如何对大型模型进行有效微调的问题。提出了参数高效微调（PEFT）方法，通过高效调整预训练大模型的参数，以适应特定任务，减少额外参数和计算资源的需求。研究表明，PEFT方法可加速大模型在下游任务中的应用，推动其发展与创新。

Oct, 2024

本研究针对大模型在特定下游任务微调中的计算和存储成本问题，提出了参数高效微调（PEFT）的方法。PEFT通过高效调整预训练大模型的参数，降低了额外参数引入和计算资源的需求。本综述重点介绍了PEFT的基础知识、核心思想和不同算法的应用，以及未来的研究方向，旨在加速PEFT的发展与创新。

Oct, 2024