基于检索增强的语言模型提示的低资源机器翻译研究:以马姆贝语为例
将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法,优于翻译和 LAFT,并在所有任务和语言上表现最佳。
Mar, 2024
本研究通过一系列实验翻译南安第斯克丘亚语为西班牙语,探究预训练大型语言模型在自动化机器翻译中从低资源语言到高资源语言的上下文学习能力。实验结果表明,即使是相对较小的语言模型,在提供了足够相关语言信息的情况下,能够通过提示上下文实现零样本低资源翻译。然而,提示类型、检索方法、模型类型和语言特定因素的不确定效果突显了即使是最佳的语言模型也存在于世界上 7000 多种语言及其使用者的翻译系统中的限制。
Jun, 2024
本文提出了一种无监督提示方法,使用高资源语言的合成样本以在低资源语言上进行多语言总结,并且表明该方法在许多低资源语言上胜过有监督的提示。
Jun, 2023
本研究通过利用双语词典的先验知识提供提示,提出了一种新的 DiPMT 方法,可以有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题,并且实验结果表明 DiPMT 能够提高 LLM 的翻译性能。
Feb, 2023
利用翻译记忆作为提示是一种有前途的机器翻译模型上下文学习方法,本文通过使用大型语言模型进行提示,发现 LLM 的‘理解’提示的能力确实有助于更好地利用 TMs,并通过实验证明,使用高质量的 TM 提示可以大大改善预先训练的 LLM 翻译器的结果,甚至可以与最新状态下大规模领域内双语数据和针对下游任务进行调整的 NMT 系统的结果相媲美。
May, 2023
通过跨语言检索增强的方法,我们的研究论文提出了一种创新的方法,利用高资源语言中语义相似的提示来提高多语言预训练语言模型在孟加拉语任务上的性能。详细评估表明,跨语言检索增强的提示对于多语言预训练语言模型的性能有稳定的提升作用。
Nov, 2023
通过研究生成式大型语言模型在机器翻译中的性能,我们发现多语言模型(如 PaLM)在人工翻译输出方面表现出类似人类的水平,能够根据样式指南和语言要求优化所需的翻译细微差别,并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性,我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。
Jan, 2024
本文探究了训练在多种语言但不是平行语料库上的大型语言模型(LLMs)在语言翻译方面的惊人能力,尤其是针对 Pathways 语言模型(PaLM)的表现最优。我们研究了选择翻译示例的各种策略,并得出结论,考虑到示例的质量是最重要的因素。通过优化的提示,我们重新评估了 PaLM 的机器翻译性能,并发现它的性能虽然令人印象深刻,但仍然落后于最先进的监督系统。我们最后提供了 PaLM 的机器翻译输出分析,揭示了一些有趣的特性和未来工作的前景。
Nov, 2022
使用大型语言模型通过少量提示将英文数据集转化为多种语言,以实现多语言语义解析,并在两个公共数据集上与传统的翻译 - 训练方法进行比较,表明使用 LLM 更有效。
Oct, 2022
利用大语言模型在现代教育领域创新的机会,通过研究提问型大语言模型、语法错误解释和人力资源面试评估,揭示了大语言模型在改变教育实践中的潜力和限制。
May, 2024