Apr, 2024

使用错误注释引导大型语言模型进行机器翻译

PDF
TL;DR通过使用 Multidimensional Quality Metric (MQM) 注释中的外部反馈来引导大型语言模型 (LLMs) 自动对机器翻译进行后编辑，以提高翻译质量。使用 LLaMA-2 模型，通过改变反馈的特性，我们考虑了不同的提示策略，并对 LLM 进行微调以提高其利用所提供指导的能力，实验证明提示 LLMs 对机器翻译进行后编辑，可以改善 TER、BLEU 和 COMET 分数，微调有助于更有效地整合细粒度的反馈，并基于自动和人工评估进一步提高翻译质量。
machine translationnlp taskslarge language modelssupervised systemsmultidimensional quality metric
发现论文，激发创造
  • 错误中蕴藏着魔鬼的力量：利用大型语言模型进行细粒度机器翻译评估

    自动机器翻译评估是推动机器翻译系统快速迭代发展的关键工具，本文在已有单一评分指标的基础上提出 AutoMQM，一种通过大语言模型的推理和上下文学习能力来识别和分类翻译错误的提示技术。通过评估最新的大语言模型 PaLM 和 PaLM-2，通过简单的得分预测提示，发现 AutoMQM 在 PaLM-2 模型上优于仅提示得分的性能，并能提供与人工注释相一致的错误范围，具有解释性。

    Aug, 2023

  • 使用人工标注的大型语言模型进行自纠正机器翻译

    在本文中，我们进行了一个试点研究，通过在翻译记忆中标记错误并提取类似的例子来引导大型语言模型（LLMs）在技术领域中进行术语翻译以提高翻译质量。实验证明，通过增加人工标记错误的翻译可以引导 LLM 集中于错误修正，相比于自动后期编辑（APE）和从头开始的机器翻译，有着持续的改进。

    Jun, 2024

  • 上下文细化的翻译：大型语言模型用于句子和文档级后编辑

    利用大型语言模型（LLM）进行神经机器翻译和自动后编辑，并借鉴低秩适配器微调的方法，在句子和文档级别的度量上取得显著改进，同时还研究了利用人工修正来减少后续翻译所需的编辑次数的实际应用场景。

    Oct, 2023

  • 使用 GPT-4 进行自动翻译后编辑

    本研究使用 GPT-4 对多种语言对进行神经机器翻译 (NMT) 输出的翻译后编辑，实现优秀的翻译质量与表现，达成当今最佳翻译质量指标 (WMT-22) 的水平。

    May, 2023

  • 使用大型语言模型的自适应机器翻译

    本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量，并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。

    Jan, 2023

  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024

  • 机器翻译的范式转变：提升大型语言模型的翻译性能

    通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器 ALMA，该模型在 WMT'21 和 WMT'22 的测试数据集上相比于之前的工作和具有 7B 或 13B 参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

    Sep, 2023

  • 使用翻译记忆增强大型语言模型翻译器

    利用翻译记忆作为提示是一种有前途的机器翻译模型上下文学习方法，本文通过使用大型语言模型进行提示，发现 LLM 的‘理解’提示的能力确实有助于更好地利用 TMs，并通过实验证明，使用高质量的 TM 提示可以大大改善预先训练的 LLM 翻译器的结果，甚至可以与最新状态下大规模领域内双语数据和针对下游任务进行调整的 NMT 系统的结果相媲美。

    May, 2023

  • 大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

    通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

    Jan, 2024

  • 大语言模型的多语言机器翻译：实证结果和分析

    本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

    Apr, 2023