May, 2023

ZeroPrompt: 流式声学编码器即零射击遮蔽语言模型

PDF
TL;DR本文提出了 ZeroPrompt 和 Prompt-and-Refine 策略，这是两种简单而有效的训练免费方法，可在不降低精度的情况下降低流式 ASR 模型的 Token Display Time，并通过在推理期间附加零内容作为提示来促使模型在发音前预测未来标记。实验表明，ZeroPrompt 是成本低廉的，并可以在任何数据集上应用于流式声学编码器，可实现与基线模型相比 350~700ms 的 TDT-F 减少和 100~400ms 的 TDT-L 减少，并且在 Aishell-1 和 Librispeech 数据集上具有理论上和实验上相等的 WER。
发现论文，激发创造
  • 挖掘式零样本学习：基于语言模型的搜索方法

    本文提出了一种使用正则表达式从未标记语料库中挖掘标记示例的替代模板提示方法，通过微调预训练模型，相比模板提示方法更加灵活和可解释，在使用相似模板时在多个任务中表现出更好的性能。

    Oct, 2022

  • 对话状态跟踪领域自适应的零样本自适应前缀

    Prompter 提出了一种使用目标领域槽的描述生成动态前缀的方法，从而使得可以在零样本情况下使用前缀调整。该方法在 MultiWOZ 和 SGD 基准测试中均优于以前的方法。

    Jun, 2023

  • ELECTRA 也是零样本学习器

    本文提出了一种用于零样本学习的新型置换标记检测 (RTD) 提示学习模型，基于 ELECTRA 模型的 RTD-prompt 学习在 NLP 任务的零样本情况下表现出卓越的性能，尤其在 SST-2 任务上取得了令人惊叹的 90.1% 的准确率。相比预训练的遮蔽语言模型，预训练的置换标记检测模型在零样本学习中表现更佳。

    Jul, 2022

  • EchoPrompt: 教导模型为了改进上下文学习而重新表述查询

    通过使用 EchoPrompt 这种简单但有效的方法，在执行任务之前引导大语言模型将查询重新表达，从而帮助减少误解，用于改进零样本和少样本的上下文学习效果。

    Sep, 2023

  • 发掘 Web 规模语音模型的潜在能力，实现零样本任务的普适性

    本文通过调整 Prompt 的方式，从三个任务 (音视频语音识别、混合语音识别、语音翻译) 入手，探究了该模型 Whisper 的应用性能。实验证明，相对于默认 Prompt，本文提出的 Prompt 在零 - shot 任务上的表现提升了 10% 到 45%，并在一些数据集上甚至超越了 SotA 监督模型。此外，实验还揭示了 Whisper 的许多有趣属性，例如其对提示的鲁棒性、对语音口音的偏见，以及在潜在空间中的多语言理解。

    May, 2023

  • 用于自监督编码器 - 解码器语音模型的提示和适配器调整

    通过在 Wav2Seq 模型上进行提示和适配器调优，我们在序列生成任务中取得了显著的成果，尤其在 ASR 的词错误率和槽位填充的 F1 分数上相对于往前的工作分别提高了 53% 和 27%。在 7 种语言中，当可训练参数有限时，提示和适配器调优表现优于传统的微调方法，尤其在资源匮乏的情况下，提示的表现更好。

    Oct, 2023

  • 多任务提示训练实现零样例任务泛化

    通过将广泛多样的监督数据集转换为易读提示集合的方式，使用预先训练的编码器 - 解码器模型进行多任务学习可以直接导致强大的零 - shot 表现，该方法能够在多个标准数据集上表现出比同类模型大多数情况下强 16 倍的性能，并在 BIG-bench 基准测试中的某些任务上表现出比同类型模型强 6 倍的性能。

    Oct, 2021

  • 通过语句调整在编码模型上实现自然零样本提示

    使用 Statement-Tuning 技术，通过对有限的陈述进行建模，训练一个编码器模型来确定标签，实现跨任务泛化，并展示相比于最先进的大型语言模型状态，Statement Tuning 具有竞争性能且参数更少，研究还探索了几个设计选择对少样本和零样本泛化的影响，揭示 Statement Tuning 能够在适度的训练数据下达到足够的性能，并从任务和陈述的多样性中获益，使得对未见任务的泛化性更好。

    Apr, 2024

  • AdaPrompt：基于提示的自然语言处理自适应模型训练

    通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

    Feb, 2022

  • 零资源语音挑战赛 2021: 口语语言建模

    该研究提出了 Zero Resource Speech Challenge 2021 语音挑战赛，要求参与者直接从音频中学习语言模型，无需任何文本或标签，并提供了一种基于对比性预测编码器、量化器和标准语言模型的管道基线系统。

    Apr, 2021