EMNLPOct, 2023

通过微调和上下文学习引导大型语言模型进行机器翻译

PDF
TL;DR通过使用适配器进行微调，我们可以改善大型语言模型在机器翻译方面的性能，并减少训练参数量，同时保持微调模式的效果，解决了少样本学习和过度生成的问题。
large language modelsmachine translationllm-based mt systemsadapter-based finetuningfew-shot examples
发现论文，激发创造
  • 针对特定领域机器翻译的大型语言模型微调

    本文提出了一种基于提示的精调方法（LlamaIT），以实现对通用语言模型（LLM）在领域特定机器翻译任务中的有效和高效精调，并通过零样本提示与指令适应目标领域。结果表明，LlamaIT 能够显著提升 LLM 的领域特定机器翻译能力，同时保持其零样本机器翻译能力。

    Feb, 2024

  • 使用大型语言模型的自适应机器翻译

    本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量，并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。

    Jan, 2023

  • 在资源匮乏环境中通过大型语言模型的微调进行文本数据增强

    通过细调教师大型语言模型产生和注释的数据，可以改善较小模型的下游性能，有时只需要原始训练数据的一小部分。

    Oct, 2023

  • 大型语言模型在翻译中的多语言程度如何？

    通过在平行文本上对大型语言模型 (LLM) 进行微调，新的机器翻译范式已被证明能够胜过使用大量平行数据以监督方式训练的专用翻译系统，然而，对于大规模多语言机器翻译，是否需要对少数语言对进行专门的模型微调仍然不清楚。本研究通过对 TOWER 系列语言模型在 132 个来自多语言平行数据 FLORES-200 的翻译任务上进行实证评估，发现翻译微调即使对于零样本语言平均而言也会提高翻译质量，但其影响因所涉及的语言对而异。这些结果呼吁进一步研究以有效实现大规模多语言翻译。

    May, 2024

  • 上下文细化的翻译：大型语言模型用于句子和文档级后编辑

    利用大型语言模型（LLM）进行神经机器翻译和自动后编辑，并借鉴低秩适配器微调的方法，在句子和文档级别的度量上取得显著改进，同时还研究了利用人工修正来减少后续翻译所需的编辑次数的实际应用场景。

    Oct, 2023

  • 调整困境：提高翻译质量而不牺牲 LLM 能力

    微调大型语言模型对机器翻译的影响及保持翻译质量和翻译能力的需求。

    May, 2024

  • 利用上下文学习高效探索大型语言模型进行文档级机器翻译

    通过上下文学习，我们提出了一种上下文感知提示方法（CAP），使得大型语言模型能够通过上下文学习生成更准确、连贯、一致的翻译。CAP 结合多级注意力，在当前句子中选择与之最相关的句子作为上下文，从这些句子中生成一个摘要。随后，从数据存储中检索与摘要最相似的句子作为演示，有效地指导大型语言模型生成连贯一致的翻译。我们在各种文档级机器翻译任务中进行了大量的实验，结果表明我们的方法在零代词翻译（ZPT）和文学翻译任务中特别有效。

    Jun, 2024

  • 适应大型语言模型的文档级机器翻译

    探索大型语言模型在文档级机器翻译中的适应过程及性能，研究了提示策略及精细调优方法对翻译结果的影响，发现部分专用模型的翻译性能甚至超过 GPT-4，但仍面临着偏离翻译问题的挑战，同时进行了深入分析，包括翻译错误、平行文件的规模关系、领域外泛化和零翻译跨语言转移等，为未来文档级机器翻译方面的研究提供了基础。

    Jan, 2024

  • 构建准确的基于翻译的语言感知 LLMS 的指导调优

    通过两阶段微调算法，改进了大型语言模型（LLMs）遵循翻译指示的能力，特别是翻译方向信息，从而有效降低了错位翻译比率（平均降低 53.3%），提高了翻译质量（平均增加 5.7 SacreBLEU 和 16.4 BLEURT）。

    Mar, 2024

  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024