Sep, 2023

关于提示调整中技能神经元与稳健性的关系

PDF
TL;DRPrompt Tuning 是一种流行的参数高效微调方法，可以在预训练的大型语言模型（PLMs）中激活特定的技能神经元，并与 T5 和 RoBERTa 模型的对抗鲁棒性进行比较。我们发现，对特定任务进行微调的提示可以迁移到相同类型的任务，但对于对抗性数据的鲁棒性较低，其中 T5 的鲁棒性高于 RoBERTa。同时，我们还论证了 RoBERTa 和 T5 中存在技能神经元，并发现 T5 中在非对抗性数据中确定的技能神经元也是对对抗性数据具有预测性的，而 RoBERTa 则不然。我们得出结论，较高的对抗性鲁棒性可能与模型在对抗性数据上激活相关技能神经元的能力有关。
发现论文，激发创造
  • 在预训练的基于 Transformer 的语言模型中寻找技能神经元

    本论文研究了预训练 Transformer 中某些神经元的激活与特定任务的关联性，发现这些神经元被称为技能神经元，并证实它们对于任务的处理至关重要且具有任务特异性，可通过适当的微调或冻结车舱重用提取得到。此外，还探索了技能神经元的应用，包括网络修剪和构建更好的可转移性指标，这对于加速 Transformer 的发展和进一步研究也有很大推动作用。

    Nov, 2022

  • 无需微调？代码智能中的提示微调实验评估

    研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。

    Jul, 2022

  • 增强 Prompt 调参视觉 Transformer 的适应性

    使用 ADAPT 框架对 Vision Transformers 进行参数高效提示调优，实现对下游任务的鲁棒性训练，从而在只调优了约 1% 的参数数量的情况下，实现与完全模型微调相当的鲁棒准确率（约 40%）.

    Mar, 2024

  • 提示调整的普适性和限制性

    研究预训练语言模型的 prompt tuning，从通用性和有限深度固定权重的预训练 transformers 的限制方面分析了 prompt tuning 的作用，证明了 prompt tuning 在有限深度 transformers 中存在限制，并给出了所需的可调 prompt 参数的下限。

    May, 2023

  • 基于规模的参数高效提示微调技术的强大性

    通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

    Apr, 2021

  • 论注意力在提示调整中的作用

    本文针对单层的注意力机制和上下文混合模型，探究了 Prompt-tuning 的策略，并分析了 Prompt 在梯度下降过程中学到的规律和其在上下文中的表现，最终提出了有关 Prompt-tuning 的理论解释和实验验证。

    Jun, 2023

  • 使用 Prompt Tuning 对生成式口语模型进行探索，以处理语音处理任务

    本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务，实验结果表明，与下游精细调整模型相比，提示调整技术使用的可调参数更少，在语音分类任务中实现了较高性能。

    Mar, 2022

  • 参数高效的 Prompt 调整使得神经文本检索器具有广义性和校准性

    本文介绍了一种基于 Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方法。

    Jul, 2022

  • 自动神经元解释的提示调整的重要性

    通过研究大型语言模型的个别神经元，改进解释提示的方式可以显著提高神经元解释质量并大幅减少计算成本。

    Oct, 2023

  • 具备偏好排名的 Prompt-Tuning 决策 Transformer

    本文提出了 Prompt-Tuning DT 算法，使用轨迹段作为提示来指导强化学习（RL）代理获取环境信息并通过黑盒调整来优化提示，以提供更多相关信息和指导代理走向特定任务的方向，在低数据情况下仅学习 0.03％的参数即可实现与全模型微调相当甚至更好的性能，为 RL 中优化大型代理的特定任务提供了有前途的方向。

    May, 2023