Jun, 2024

使用 RNNT Loss 进行语音前缀微调以改进 LLM 预测

PDF
TL;DR本研究针对将 LLMs 应用于 ASR 时面临的限制进行了讨论，提出了使用 RNNT 损失进行语音前缀调优的方法，并通过语言软提示进一步改善，实证分析表明我们的方法在多种语言上取得了显著提升。
发现论文，激发创造
  • L-TUNING：LLM 中的 Prompt 和 Prefix 同步标签调整

    传统方法在对大型语言模型（LLMs）进行任务微调时面临着挑战。这篇论文介绍了一种名为 L-Tuning 的有效微调方法，专为自然语言推理（NLI）框架中的分类任务而设计，通过对预训练 LLM 进行标签令牌的微调，从而改善模型的训练效果和分类准确度，并提高训练效率。

    Dec, 2023

  • Prefix-Tuning: 优化连续提示用于生成任务

    本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。

    Jan, 2021

  • 利用大型语言模型进行生成式语音识别误差校正

    使用大型语言模型进行 ASR 后处理，通过指令提示和上下文学习改进错误纠正，与领域精调模型相比，显示了语言模型的泛化能力。

    Sep, 2023

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023

  • 面向参数效率语言模型微调的自适应前缀调整

    本研究聚焦于前缀调整 fine-tuning 技术，并提出了自适应前缀调整（APT）方法，结合门控机制实现对细粒度和粗粒度级别的前缀优化，实证实现了在 SuperGLUE 和 NER 数据集上的有效性和效率验证。

    May, 2023

  • 文本分类的鲁棒前缀调优

    提出一种保持 prefix-tuning 的有效性和模块化性的鲁棒性前缀调谐方法，通过正确分类的数据作为附加前缀调谐的标准，使用语言模型的层激活来增强鲁棒性，并通过针对每个批次的额外批量级前缀来提高鲁棒性。实验证明，该方法在多个基准测试中执行对抗攻击时，在保持高准确性的前提下，大幅提高了模型的鲁棒性。

    Mar, 2022

  • 探索前缀调整在嘈杂数据中的稳健性：以金融情感分析为例的案例研究

    本研究通过实验证明，相较于 fine-tuning 方法，prefix tuning 在面对嘈杂数据时更脆弱，会导致性能下降，特别是在噪声水平增加的数据集中，此外，prefix tuning 在许多污染方法中的 F1 得分方差比 fine-tuning 高，因此在使用这种方法处理嘈杂的数据时应谨慎。

    Oct, 2022

  • 基于流式递归神经网络转录器的神经语言模型融合改进

    本文提出了一种扩展技术，使 RNN-T 能够利用外部神经网络语言模型（NNLM），从而增强了 Librispeech 上 13-18％的相对词错误率，同时保持了系统的流畅性，灵活性和轻量性。

    Oct, 2020

  • LoPT: 低秩提示调节用于参数高效语言模型

    在本论文中，我们提出了一种名为 LoPT 的低秩模型，用于优化提示信息，通过减少可训练参数数量，实现与完全参数的提示优化相似的效果，同时相较于现有方法需要的参数数量减少了 5 到 20 倍。

    Jun, 2024

  • Transformer 中的无限长前缀

    研究了前缀学习的学习能力，通过无限长度前缀在一层注意力网络中的表达和解决问题，证实了无限长度前缀学习在注意力中的过度参数化性质和任意小的损失收敛性保证。提出了 NTK-Attention 方法，可实现任意前缀长度的注意力计算，具有参数效率高、在多种场景中表现优越的潜力。

    Jun, 2024