ACLMay, 2023

INTapt: 提高非母语语音识别能力的信息理论对抗提示调整

PDF
TL;DR提出 Information Theoretic Adversarial Prompt Tuning (INTapt) 方法来解决 pre-trained speech model 表示偏差的问题，通过引入 prompts 来重新调节预训练模型的注意力，从而改善非母语英语说话者的 ASR 性能，同时增加 L2 英语口音与 L1 英语口音之间的特征相似性。
发现论文，激发创造
  • IAPT：面向大型语言模型的指令感知提示调整

    我们提出了一种新的提示调整方法，Instruction-Aware Prompt Tuning (IAPT)，该方法只需要四个软标记，并且在具有可调参数的情况下优于最近的基准方法，并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。

    May, 2024

  • 信息论软提示调整用于自然语言理解

    该研究提出了一种信息理论框架，用于将软提示调整作为最大化提示和其他模型参数（或编码表示）之间的互信息的方法，从而发展了一种更为高效、准确和稳健的软提示调整方法 InfoPrompt。

    Jun, 2023

  • 通过语言提示调整和帧级别语言适配器增强多语言语音识别

    提出了两种简单和参数高效的方法：语言提示调优和帧级语言适配器，用于分别增强可配置语言和语言无关的多语言语音识别，同时探索了使用参数高效的微调方法整合这两种方法的可行性。实验证明了我们提出的方法在七种语言下均具有显著的性能提升。

    Sep, 2023

  • 注意力提示调整：参数高效的预训练模型适应时空建模

    通过在 transformer 模块的键和值中直接插入提示信息，我们提出了注意力提示调整（Attention Prompt Tuning，APT）方法，从而在视频行为识别中大大减少了浮点运算和延迟，并在 UCF101、HMDB51 和 SSv2 数据集上实现了显著的性能提升。

    Mar, 2024

  • 对敌对提示调整的鲁棒泛化问题的重新审视

    通过多模态提示学习来提高图像和文本特征的对齐度，利用预训练的 CLIP 强大的泛化能力，引导模型在对抗性示例上增强鲁棒泛化能力，同时在干净示例上保持准确性。

    May, 2024

  • 用于视觉语言预训练模型的近似提示调优

    本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

    Jun, 2023

  • À-la-carte Prompt Tuning (APT): 组合提示以合并不同数据

    使用基于 transformer 的方案进行 prompt 调整，实现任意组合，达到 bespoke models，维护各用户的访问权限和偏好，多次添加或删除相关 prompt 可达到记录更新，实现 Split CIFAR-100 和 CORe50 的反复学习监测，并得到最先进的效果。

    Feb, 2023

  • 基于知识的提示调优通用视觉语言模型

    通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

    Aug, 2023

  • IntCoOp：可解释性感知的视觉 - 语言提示调优

    通过引入属性级归纳偏差和类嵌入来提高图像 - 文本对齐分数的一种新颖的和可解释的提示调优方法。我们通过在 CLIP 上的广泛实验中评估 IntCoOp 来证明其有效性，并发现在 10 个不同领域的下游数据集上，引入属性级归纳偏差能够比现有的提示调优框架获得更好的性能，特别是在 16 张图片的情况下，IntCoOp 提高了 10 个不同数据集的平均表现 7.35%。

    Jun, 2024

  • 带检索增强条件提示调优的新颖性控制改写生成

    本文提出了参数效率的 Retrieval Augmented Prompt Tuning（RAPT）和使用专门的提示标记的 Novelty Conditioned RAPT（NC-RAPT）作为控制不同水平词汇新颖性的简单模型无关方法，通过在四个数据集上进行广泛实验，证明了所提出的方法在诱导语义内容的同时诱导词汇新颖性的有效性。

    Feb, 2022