Sep, 2022

检索短语级提示的神经机器翻译领域零 - shot 适应

PDF
TL;DR本文探讨了一种在神经机器翻译中解决领域适应问题的新思路，通过构建双语短语级数据库并从其中检索相关的短语，作为输入句子的提示，从而提高翻译质量。实验结果表明，该方法可以使特定领域机器翻译 BLEU 分数提高 6.2 分，并且可以提高 11.5% 的翻译准确性，而无需额外的训练。
发现论文，激发创造
  • 机器翻译领域自适应的有效性

    该论文探讨了加速最近邻机器翻译的几种方法，其中介绍了一种简单但有效的缓存策略，避免了之前出现过的类似上下文的再次检索。翻译质量和运行时间表明了这些解决方案的有效性。

    Apr, 2022

  • 神经机器翻译的非参数无监督域自适应

    提出了一种基于自动编码器的 $k$NN-MT 方法，可以利用目标语言的单语句子构建有效的数据库来达到无监督的领域自适应翻译，从而提高翻译的准确性和可靠性。

    Sep, 2021

  • BayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示

    通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

    Jan, 2024

  • UDAPDR：基于 LLM 加速的无监督域自适应及 Reranker 蒸馏方法

    通过使用大型语言模型 (LLMs) 生成大量合成的查询，可以在不使用大量标记的数据的情况下，有效地优化实现信息检索任务，同时消除因为领域的转变而导致真实世界应用效力降低的问题。

    Mar, 2023

  • 零样本领域敏感的语音识别与提示条件优化微调

    我们提出了一种方法，通过在给定的文本提示上条件生成，利用文本域信息创建领域敏感的语音识别模型。我们通过对预训练的端到端模型（Whisper）进行微调，从示范中学习文本示例，展示了这种能力可以推广到不同领域甚至不同的提示上下文，我们的模型在来自各种领域的未见数据集上的词误差率（WER）降低了最多 33％，如医疗对话、空中交通管制通信和金融会议。考虑到音频 - 文本配对数据的有限可用性，我们进一步将我们的方法扩展到纯文本微调，以实现领域敏感性和领域适应性。我们证明了我们的纯文本微调模型也可以关注各种提示上下文，该模型在医疗对话数据集上的词误差率降低了最多 29％。

    Jul, 2023

  • 通过领域适应改善 Prompt Tuning 的样本效率

    本文提出了一种名为 OPTIMA 的算法，通过领域自适应来改进预处理语言模型的 prompt tuning，结果表明 OPTIMA 可以显著提高 prompt tuning 的可迁移性和样本效率，并在少样本情况下超过全模型调整性能。

    Oct, 2022

  • 基于词典短语级别的大语言模型提示用于机器翻译

    本研究通过利用双语词典的先验知识提供提示，提出了一种新的 DiPMT 方法，可以有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题，并且实验结果表明 DiPMT 能够提高 LLM 的翻译性能。

    Feb, 2023

  • 测试时间域自适应的视觉提示调控

    本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。

    Oct, 2022

  • 语音识别中零 - shot 领域调适的大型语言模型启发

    本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。

    Jun, 2023

  • 零样本问答的任务迁移和领域自适应

    使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。

    Jun, 2022