Oct, 2023

使用大型语言模型进行翻译假设集成的实证研究

HTML
PDF
TL;DR通过对多个大型语言模型 (LLMs) 进行假设集成的研究，对于基于 LLM 的机器翻译问题，我们探讨了如何提高生成文本的质量。我们尝试了多种假设集成技术，如 ChatGPT、LLaMA 和 Alpaca，并进行了综合研究，包括生成假设的方法（多个提示、温度采样和束搜索）以及生成最终翻译的策略（基于指令、基于质量的重新排序和最小贝叶斯风险解码）。我们的研究结果表明，MBR 解码是一种非常有效的方法，使用少量样本可以提高翻译质量，指令调整对假设的多样性和采样温度之间的关系具有很大影响。
发现论文，激发创造
  • 大语言模型的多语言机器翻译：实证结果和分析

    本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

    Apr, 2023

  • 机器翻译的范式转变：提升大型语言模型的翻译性能

    通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器ALMA，该模型在WMT'21和WMT'22的测试数据集上相比于之前的工作和具有7B或13B参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

    Sep, 2023

  • 利用大语言模型提升机器翻译：基于合作解码的初步研究

    基于编码器-解码器框架的当代翻译引擎发展迅猛，而大型语言模型的出现破坏了它们的地位，提供了实现更优翻译质量的潜力。因此，了解LLMs是如何在何种场景下胜过传统NMT系统，以及如何发挥其优势，变得至关重要。本文首先进行了全面分析，评估了各种商业NMT系统和面向机器翻译的LLMs的优势和局限性。发现NMT系统和面向机器翻译的LLMs都不能有效解决所有翻译问题，但面向机器翻译的LLMs可以作为NMT系统的有希望的补充。基于这些发现，我们探索了混合方法，并提出了合作解码（CoDec）将NMT系统视为预翻译模型，将面向机器翻译的LLMs视为处理NMT系统无法覆盖的复杂场景的补充解决方案。在WMT22测试集和新收集的WebCrawl测试集上的结果表明，CoDec的有效性和效率，突出了将NMT系统与面向机器翻译的LLMs相结合作为强大解决方案的潜力。

    Nov, 2023

  • 大型语言模型和机器翻译的即时融合

    我们在相同任务和输入上提出了一个机器翻译模型和LLM的即时集成方法。我们在4个语言对（两个方向）上进行了实验，并且数据量有所不同。我们发现，稍微差一些的LLM可以提高NMT模型的翻译质量，并且与LLM集成可以产生比两个更强的机器翻译模型集成更好的翻译结果。我们结合了LLM提示的各种技术，如上下文学习和翻译上下文。

    Nov, 2023

  • 在源语言中迷失：大型语言模型如何评估机器翻译的质量

    大型语言模型在机器翻译评估任务中取得了显著的成果，然而关于它们如何利用提供的数据进行评估仍存在知识空白。本研究旨在探索大型语言模型如何利用源语言和参考信息进行评估，从而更好地理解大型语言模型的工作机制。通过设计不同的输入模式和模型类型进行受控实验，并使用粗粒度和细粒度提示来识别源语言与参考信息的有效性，我们惊讶地发现参考信息显著提高了评估准确性，而源语言信息有时会适得其反，表明在使用大型语言模型评估翻译时缺乏跨语言能力。我们还对大型语言模型的翻译错误检测进行了元评估，观察到类似的现象。这些发现也为充分利用大型语言模型的跨语言能力以在机器翻译评估任务中取得更好性能提供了潜在的研究方向。

    Jan, 2024

  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024

  • 大语言模型的高效推论综述

    大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题，本文对提高大规模语言模型推理效率的现有技术文献进行了综述，介绍了数据层、模型层和系统层优化的方法，并通过实验进行了定量分析，最后总结了相关知识，并探讨了未来研究方向。

    Apr, 2024

  • 大型语言模型在机器翻译评估中需要什么？

    本文探讨了大型语言模型（LLM）在机器翻译（MT）质量评估中所需的翻译信息，包括源文本、参考翻译、翻译错误和注释指南。研究发现，参考翻译在基于LLM的评估中至关重要，且CoT提示技术对大型模型的表现有更显著的提升作用。我们的工作为资源有限且无需训练的LLM-based评估提供了全面分析，并公开了相关提示模板、代码和数据以便复现。

    Oct, 2024

  • 大型语言模型在机器翻译评估中需要什么？

    本研究探讨了大型语言模型（LLMs）在机器翻译（MT）评估中所需的翻译信息，包括来源、参考、翻译错误和注释指南。研究结果表明，参考翻译对LLM的评估至关重要，同时发现Chain of Thought（CoT）提示对较大模型的影响更为显著，为资源受限的LLM评估提供了全面分析。

    Oct, 2024

  • 语言模型与循环一致性用于自反机器翻译

    本研究针对机器翻译中的翻译质量评估问题，提出了一种新框架，利用大型语言模型（LLMs）生成多个翻译候选，并通过反向翻译检查原句与翻译句之间的循环一致性，从而隐性地评估目标语言中的翻译质量。实验结果表明，较大的LLM或在推理过程中进行更多前向传递时，循环一致性增强，这表明模型规模与计算量增强的规律性。这项工作为隐性评估翻译质量、评估LLM的翻译能力及提升特定LLM的翻译质量提供了新方法。

    Nov, 2024