大型语言模型中将翻译特定理解、一般理解对齐

Jan, 2024

大型语言模型中将翻译特定理解、一般理解对齐

Aligning Translation-Specific Understanding to General Understanding in Large Language Models

Yichong Huang, Xiaocheng Feng, Baohang Li, Chengpeng Fu, Wenshuai Huo...

TL;DR通过将 LLMs 中的翻译特定理解与通用理解对齐，本研究提出了一种名为 xIoD 的新型翻译过程，通过难以翻译的词进行跨语言解释，并用生成的解释增强翻译效果，实验结果表明 xIoD 的有效性，提高了 3.85 COMET。

Abstract

Although large language models (LLMs) have shown surprising language understanding and generation capabilities, they have yet to gain a revolutionary advancement in the field of machine translation. One potential

large language models machine translation translation-specific understanding xiod interpretations

发现论文，激发创造

通过翻译跟随示范提升面向指导训练大型语言模型的跨语言能力

通过在语言模型中建立语义对齐，该研究提出了一种在英语以外的语言中增强指令调整型大型语言模型（It-LLMs）的方法，通过交叉语言指导和翻译指导演示，提高语义对齐，并在六种不同语言上的多语言问答基准测试中验证其方法的效果。

Aug, 2023

多语言大型语言模型的跨语言能力和知识障碍

通过评估六种最先进的大型语言模型在跨语言任务上的表现，本研究发现尽管这些模型在机器翻译和嵌入空间分析上展现了表层的跨语言能力，但在更深层次的跨语言知识转移上存在困难，揭示了跨语言知识壁垒的存在。同时提出在混合语言数据上对大型语言模型进行微调的方法，有效减少了这些差距，甚至在使用维基文本等域外数据集时也能取得良好效果。研究发现需要明确的优化方式来发挥大型语言模型的完整跨语言潜力。

Jun, 2024

GenTranslate：大型语言模型是生成式跨语音和机器翻译器

利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

Feb, 2024

通过质量评估指导 LLMs 的上下文学习来进行机器翻译

利用领域特定的质量评估（QE）引导的搜索算法，借助 XGLM 模型，本论文提出了一种新的上下文学习（ICL）方法，以预测机器翻译的质量，选择有效的示例以最大化翻译质量，相较于现有 ICL 方法和预训练语言模型（PLM）mBART-50，实验结果显示了显著的改进和更高的翻译性能。

Jun, 2024

机器翻译的范式转变：提升大型语言模型的翻译性能

通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器 ALMA，该模型在 WMT'21 和 WMT'22 的测试数据集上相比于之前的工作和具有 7B 或 13B 参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

Sep, 2023

增强大型语言模型的翻译能力的新范式

本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

Mar, 2024

Instruct-Align：基于对齐的跨语言教学，教授 LLMs 的新语言

本研究提出了 Instruct-Align 框架，通过对称对齐方法的跨语言指导调整，使大语言模型 (LLMs) 能够有效地学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入到现有的 LLMs 中。

May, 2023

大语言模型的多语言机器翻译：实证结果和分析

本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

Apr, 2023

多语言 LLM 通过对齐更好地进行跨语言上下文学习

本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

May, 2023

利用上下文学习高效探索大型语言模型进行文档级机器翻译

通过上下文学习，我们提出了一种上下文感知提示方法（CAP），使得大型语言模型能够通过上下文学习生成更准确、连贯、一致的翻译。CAP 结合多级注意力，在当前句子中选择与之最相关的句子作为上下文，从这些句子中生成一个摘要。随后，从数据存储中检索与摘要最相似的句子作为演示，有效地指导大型语言模型生成连贯一致的翻译。我们在各种文档级机器翻译任务中进行了大量的实验，结果表明我们的方法在零代词翻译（ZPT）和文学翻译任务中特别有效。

Jun, 2024