Dec, 2023

大规模语言模型微调的自适应机器翻译

PDF
TL;DR利用零射击和单射击翻译提示在医学领域内进行了 Mistral 7B 大型通用语言模型 (LLM) 的微调，以提高其实时自适应机器翻译能力，结果显示其对西班牙语到英语机器翻译的质量改进超过了基准性能，并且其零射击翻译与 NLLB 3.3B 的性能相匹配，单射击翻译质量超过了 NLLB 3.3B 的性能，明确了微调高效 LLMs 像 Mistral 7B 的重要性，以产生与任务导向模型相当的高质量零射击翻译。
fine-tuningadaptive machine translationmistral 7bzero-shot translationone-shot translation
发现论文，激发创造
  • 大型语言模型在翻译中的多语言程度如何？

    通过在平行文本上对大型语言模型 (LLM) 进行微调，新的机器翻译范式已被证明能够胜过使用大量平行数据以监督方式训练的专用翻译系统，然而，对于大规模多语言机器翻译，是否需要对少数语言对进行专门的模型微调仍然不清楚。本研究通过对 TOWER 系列语言模型在 132 个来自多语言平行数据 FLORES-200 的翻译任务上进行实证评估，发现翻译微调即使对于零样本语言平均而言也会提高翻译质量，但其影响因所涉及的语言对而异。这些结果呼吁进一步研究以有效实现大规模多语言翻译。

    May, 2024

  • 机器翻译的范式转变：提升大型语言模型的翻译性能

    通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器 ALMA，该模型在 WMT'21 和 WMT'22 的测试数据集上相比于之前的工作和具有 7B 或 13B 参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

    Sep, 2023

  • 针对特定领域机器翻译的大型语言模型微调

    本文提出了一种基于提示的精调方法（LlamaIT），以实现对通用语言模型（LLM）在领域特定机器翻译任务中的有效和高效精调，并通过零样本提示与指令适应目标领域。结果表明，LlamaIT 能够显著提升 LLM 的领域特定机器翻译能力，同时保持其零样本机器翻译能力。

    Feb, 2024

  • 适应大型语言模型的文档级机器翻译

    探索大型语言模型在文档级机器翻译中的适应过程及性能，研究了提示策略及精细调优方法对翻译结果的影响，发现部分专用模型的翻译性能甚至超过 GPT-4，但仍面临着偏离翻译问题的挑战，同时进行了深入分析，包括翻译错误、平行文件的规模关系、领域外泛化和零翻译跨语言转移等，为未来文档级机器翻译方面的研究提供了基础。

    Jan, 2024

  • 使用大型语言模型的自适应机器翻译

    本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量，并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。

    Jan, 2023

  • 预训练的多语言语言模型在零差生成中的实证研究

    通过在一个语言上对多语言预训练语言模型（mPLM）进行微调，再在其他语言上使用它进行预测，零样本跨语言生成通常会出现使用错误语言生成的问题，本研究测试了替代的 mPLMs（如 mBART 和 NLLB），考虑到全微调和适配器参数高效微调，并发现带适配器的 mBART 的性能与相同规模的 mT5 相似，NLLB 在某些情况下具备竞争力，还强调了微调中学习率的调整对缓解错误语言生成问题的重要性。

    Oct, 2023

  • 使用大规模多语言预训练语言模型实现临床领域实际零 - shot 神经机器翻译

    本文研究了大规模多语言预训练语言模型是否可以应用于全新的语言对和领域的零 - shot 机器翻译，实验证明对于在其原始预训练语料库中没有包含的英 - 西语言对的临床数据的微调非常成功，是 MMPLMs 实现真正的零 - shot NMT 在临床领域的首次研究。

    Oct, 2022

  • adaptMLLM: 在低资源语言上使用集成 LLM 沙盒的多语言语言模型的微调

    通过开发 adaptMLLM，我们针对机器翻译开发了一个开放源代码应用程序，旨在解决多语言语言模型在低资源语言中开发高质量机器翻译输出方面的问题，并提供易于定制的界面以及各种模型评估指标和在应用程序中直接部署模型作为翻译服务的能力。

    Mar, 2024

  • 通过微调和上下文学习引导大型语言模型进行机器翻译

    通过使用适配器进行微调，我们可以改善大型语言模型在机器翻译方面的性能，并减少训练参数量，同时保持微调模式的效果，解决了少样本学习和过度生成的问题。

    Oct, 2023

  • 通过使用翻译指示进行多语言微调，引发大型语言模型的翻译能力

    本篇论文通过对一个多语种预训练语言模型 XGLM-7B 进行微调并给出指示进行多语种翻译的实验，展示了预训练语言模型在翻译任务中的较强能力，并发现其翻译能力依赖于对翻译指令的理解和语言之间的对齐，研究结果可启发模型改进。

    May, 2023