EMNLPOct, 2022

探索前缀调整在嘈杂数据中的稳健性：以金融情感分析为例的案例研究

PDF
TL;DR本研究通过实验证明，相较于 fine-tuning 方法，prefix tuning 在面对嘈杂数据时更脆弱，会导致性能下降，特别是在噪声水平增加的数据集中，此外，prefix tuning 在许多污染方法中的 F1 得分方差比 fine-tuning 高，因此在使用这种方法处理嘈杂的数据时应谨慎。
transformer-based modelsprefix tuningnoisy datafine-tuningrobustness
发现论文，激发创造
  • 文本分类的鲁棒前缀调优

    提出一种保持 prefix-tuning 的有效性和模块化性的鲁棒性前缀调谐方法，通过正确分类的数据作为附加前缀调谐的标准，使用语言模型的层激活来增强鲁棒性，并通过针对每个批次的额外批量级前缀来提高鲁棒性。实验证明，该方法在多个基准测试中执行对抗攻击时，在保持高准确性的前提下，大幅提高了模型的鲁棒性。

    Mar, 2022

  • Prefix-Tuning: 优化连续提示用于生成任务

    本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。

    Jan, 2021

  • 面向参数效率语言模型微调的自适应前缀调整

    本研究聚焦于前缀调整 fine-tuning 技术，并提出了自适应前缀调整（APT）方法，结合门控机制实现对细粒度和粗粒度级别的前缀优化，实证实现了在 SuperGLUE 和 NER 数据集上的有效性和效率验证。

    May, 2023

  • 有限数据下数据增强对前缀调校的有效性

    该研究探讨了如何使用前缀调优和数据扩充技术来提高语言模型的性能，通过引入对比损失，有效改善语言模型处理经过加强后数据的能力。

    Mar, 2023

  • Inducer-tuning: 连接 Prefix-tuning 和 Adapter-tuning

    本文提出了通过核方法理解 prefix-tuning，并将其发展为 inducer-tuning 来提高其性能，通过自然语言理解和生成任务的综合实验，证明了 inducer-tuning 可以缩小 prefix-tuning 和 fine-tuning 之间的性能差距。

    Oct, 2022

  • 面向可控文本生成的有针对性前缀调整

    本文提出了一种名为 Focused Prefix Tuning (FPT) 的方法，用于在可控制的文本生成数据集中处理一些无关紧要的信号，以提高模型的性能，实验结果表明，在单属性控制任务中，FPT 可以比基线模型实现更好的控制精度和文本流畅性，在多属性控制任务中，FPT 可以在保持灵活性的同时，达到与现有技术相当的控制精度。

    Jun, 2023

  • 微调预训练模型的稳定性分析

    通过理论稳定性分析和提出的新策略，解决预训练模型微调在同样设置下性能稳定性差异问题。

    Jan, 2023

  • 以用户为中心的前缀调优是个性化图像字幕的良好学习器

    我们提出了一种个性化的图像描述框架，通过融合用户上下文以考虑个性因素并从一个冻结的大型语言模型中提取知识来减小不同语言领域之间的差距，提高了模型的效率和效果。我们的模型在 Instagram 和 YFCC100M 数据集上比现有基准模型表现出更好的结果，包括在 BLEU-4 和 CIDEr 等指标上的两倍改进。

    Dec, 2023

  • P-Tuning v2: 提示调节在规模和任务上可以与微调相媲美

    通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

    Oct, 2021

  • 小心解冻：用空间高效方法微调语义分析模型

    本文研究了利用 PLM 进行语义解析的问题，并比较了在数据较少和常规情况下，冻结 PLM 参数的前缀调整和偏置项调整两种新技术与全量和部分微调的性能。作者发现，通过添加特殊令牌嵌入的前缀调整方法可以在保持参数节省的同时，获得非常良好的性能。

    Mar, 2022