May, 2023

链式词典提示诱发大型语言模型翻译

PDF
TL;DR本篇论文提出一种新方法名为 CoD，通过使用多语言词典来引出 LLMs 的翻译能力，从而提高大规模语言模型在多语言神经机器翻译中的表现，实验表明，CoD 可使得 ChatGPT 在 FLORES-200 全 devtest 集上英塞语察里洛文翻译的 ChrF++ 分数由 3.08 提高至 42.63，优于为低资源语言提供少量演示的方法。
large language modelsmultilingual neural machine translationrare wordslow-resource languagescod
发现论文，激发创造
  • 基于词典短语级别的大语言模型提示用于机器翻译

    本研究通过利用双语词典的先验知识提供提示，提出了一种新的 DiPMT 方法，可以有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题，并且实验结果表明 DiPMT 能够提高 LLM 的翻译性能。

    Feb, 2023

  • LLMLingua：压缩大型语言模型推理加速的提示

    LLMLingua 是一种粗粒度到细粒度的提示压缩方法，利用预算控制器、基于令牌级的迭代压缩算法和基于指令调整的语言模型分布对齐方法，实现高压缩率下语义完整性的维持，有效加速模型推理并降低成本。在多个不同场景的数据集上的实验和分析表明，该方法在性能上达到了最先进的水平，并且能够在保证性能损失很小的情况下进行高达 20 倍的压缩。

    Oct, 2023

  • 使用大型语言模型进行相关语言机器翻译的分解提示

    本研究提出了一种针对相关语言即语言家族内具有相似语言特征的机器翻译的新方法，将翻译过程分解成单词块翻译的序列，并证明了该方法的有效性。

    May, 2023

  • 自动发现的链式思维提示适用于新模型和数据集

    通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

    May, 2023

  • 使用翻译记忆增强大型语言模型翻译器

    利用翻译记忆作为提示是一种有前途的机器翻译模型上下文学习方法，本文通过使用大型语言模型进行提示，发现 LLM 的‘理解’提示的能力确实有助于更好地利用 TMs，并通过实验证明，使用高质量的 TM 提示可以大大改善预先训练的 LLM 翻译器的结果，甚至可以与最新状态下大规模领域内双语数据和针对下游任务进行调整的 NMT 系统的结果相媲美。

    May, 2023

  • 利用上下文学习高效探索大型语言模型进行文档级机器翻译

    通过上下文学习，我们提出了一种上下文感知提示方法（CAP），使得大型语言模型能够通过上下文学习生成更准确、连贯、一致的翻译。CAP 结合多级注意力，在当前句子中选择与之最相关的句子作为上下文，从这些句子中生成一个摘要。随后，从数据存储中检索与摘要最相似的句子作为演示，有效地指导大型语言模型生成连贯一致的翻译。我们在各种文档级机器翻译任务中进行了大量的实验，结果表明我们的方法在零代词翻译（ZPT）和文学翻译任务中特别有效。

    Jun, 2024

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • TaCo: 通过翻译辅助的思维链创造，增强低资源语言在 LLMs 中的跨语言迁移

    论文通过引入多语言指令调整数据集（MITS）和 TaCo 方法，提出了对语言模型进行训练和指令调整的方法，以解决预训练和微调 LLMs 到新语言的高成本问题，并通过实验证明 TaCo 方法在低资源语言上相比仅进行指令调整可以提升性能。

    Nov, 2023

  • 交互链提示：交互实现跨语言条件生成的歧义消解

    提出了一种交互式链式提示方法，通过一系列问题、回答和生成步骤来解决跨语言条件生成中的翻译歧义问题，并通过制作数据集来评估其解决模糊性的能力和评估翻译质量。

    Jan, 2023

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024