CVPRMar, 2024

动态适配器遇到提示调整：基于参数效率的点云分析迁移学习

PDF
TL;DR本文的目标是研究点云分析中的参数高效迁移学习，以在任务性能和参数效率之间取得理想的平衡，通过冻结默认预训练模型的参数，并使用动态适配器和提示调整相结合的方法，捕捉每个标记的重要程度，要点功能以及实例特定特征的交互。通过在五个具有挑战性的数据集上进行的实验表明，所提出的方法在明显减少可训练参数和训练 GPU 存储空间（分别减少 95％和 35％) 的同时，实现了优于完全微调对应方法的性能。
point cloud analysistransfer learningparameter efficiencydynamic adapterprompt tuning
发现论文，激发创造
  • 基于参数高效的 3D 点云理解的提示学习

    该研究提出了一种参数高效的提示调优方法（称为 PPT），用于适应大型多模态模型的 3D 点云理解。通过 PromptLearner 模块和 PointAdapter 模块，在提高参数效率的同时增强了对 3D 点云理解的提示调优能力，实验证明了该方法在参数和数据效率方面的优越性。

    Feb, 2024

  • 参数高效微调与适配器

    该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对三个不同数据集进行评估，研究结果表明，该基于适配器的方法在性能上与全模型微调、DAPT+TAPT 和 UniPELT 策略相当，而需要更少或相同数量的参数。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能以及显著节约资源消耗方面的潜力，为参数高效微调的未来研究方向提供了有益的提示。

    May, 2024

  • Point-PEFT: 3D 预训练模型的参数高效微调

    通过 Point-PEFT 框架，我们能够在只使用可训练参数的 5% 的情况下，实现优于完全微调的性能，充分展示了我们方法的高效性和有效性。

    Oct, 2023

  • Adapter-X: 一个新颖的面向视觉的普适参数高效微调框架

    Adapter-X 是一种新的框架，通过参数共享和动态分配，以及引入特定设计来提高适应性，在更少的参数下优于传统的微调方法。

    Jun, 2024

  • 适应性点变换器

    通过提出自适应点云变换器（AdaPT）模型，文章解决了点云变换器（PT）在处理大规模点云时的可扩展性挑战，实现了较低的计算复杂度和竞争性的分类准确率。

    Jan, 2024

  • NLP 的参数高效迁移学习

    通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

    Feb, 2019

  • 基于 Prompt 调整的视觉 - 语言模型适应器

    本研究提出一个新的模型 Prompt-Adapter，将预训练的提示调整与高效自适应网络相结合，用于高效的视觉 - 语言模型适应过程，超过公共数据集中少量数据情况下的现有方法，在此基础上，探讨了多任务预训练初始化与 prompt tuning 相结合的思想。

    Mar, 2023

  • 探索密集预测的参数，记忆和时间高效适配器调整：参数高效并不足够

    本文提出了一种名为 E3VA 的参数、内存和时间高效的视觉适配器调节方法，通过梯度反向传播高速公路实现低秩适配器，可以在保持模型性能相当的情况下，节省高达 62.2% 的训练存储器和 26.2% 的训练时间。

    Jun, 2023

  • ST-Adapter：基于转移学习的高效图像到视频参数适配器

    本文针对跨模态参数高效的图像到视频传递学习进行了研究，并提出了一种新的适应器 ——Spatio-Temporal Adapter，可以在较小的成本下实现有关动态视频内容的空时推理能力，并在视频动作识别任务上匹配或超越完全微调策略和最先进的视频模型，同时又具有参数效率的优势。

    Jun, 2022

  • 注意力提示调整：参数高效的预训练模型适应时空建模

    通过在 transformer 模块的键和值中直接插入提示信息，我们提出了注意力提示调整（Attention Prompt Tuning，APT）方法，从而在视频行为识别中大大减少了浮点运算和延迟，并在 UCF101、HMDB51 和 SSv2 数据集上实现了显著的性能提升。

    Mar, 2024