机器翻译中的大型语言模型:案例研究
通过研究生成式大型语言模型在机器翻译中的性能,我们发现多语言模型(如 PaLM)在人工翻译输出方面表现出类似人类的水平,能够根据样式指南和语言要求优化所需的翻译细微差别,并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性,我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。
Jan, 2024
将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法,优于翻译和 LAFT,并在所有任务和语言上表现最佳。
Mar, 2024
使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务,本文探讨使用自然语言编程来优化引导,提出元引导概念后能够生成更多的任务自然语言引导,展望这些方法如何应用于实践应用。
Feb, 2021
本文探究了训练在多种语言但不是平行语料库上的大型语言模型(LLMs)在语言翻译方面的惊人能力,尤其是针对 Pathways 语言模型(PaLM)的表现最优。我们研究了选择翻译示例的各种策略,并得出结论,考虑到示例的质量是最重要的因素。通过优化的提示,我们重新评估了 PaLM 的机器翻译性能,并发现它的性能虽然令人印象深刻,但仍然落后于最先进的监督系统。我们最后提供了 PaLM 的机器翻译输出分析,揭示了一些有趣的特性和未来工作的前景。
Nov, 2022
本研究通过利用双语词典的先验知识提供提示,提出了一种新的 DiPMT 方法,可以有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题,并且实验结果表明 DiPMT 能够提高 LLM 的翻译性能。
Feb, 2023
本文综合系统地对五个临床自然语言处理任务(临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取)的提示工程进行了实验研究,评估了多种提示类型在三种先进的大型语言模型(GPT-3.5、BARD 和 LLAMA2)上的性能,并提出了对临床 NLP 领域提示工程的新见解和指南。
Sep, 2023
利用翻译记忆作为提示是一种有前途的机器翻译模型上下文学习方法,本文通过使用大型语言模型进行提示,发现 LLM 的‘理解’提示的能力确实有助于更好地利用 TMs,并通过实验证明,使用高质量的 TM 提示可以大大改善预先训练的 LLM 翻译器的结果,甚至可以与最新状态下大规模领域内双语数据和针对下游任务进行调整的 NMT 系统的结果相媲美。
May, 2023
本研究提出了一种名为 SAP 的技术,旨在使双向语言模型具有提示功能。利用机器翻译任务作为案例研究,我们使用 SAP 提示双向 mT5 模型,并证明其少量示例和零量示例的翻译性能优于 unidirectional 模型,同时展示了 SAP 在问答和摘要生成中的有效性,证明提示学习是更广泛的语言模型类别的新兴属性而不仅仅是单向模型的特征。
Sep, 2022
本文研究了自动提示技术在六个不同的下游任务和更广泛的 K-shot 学习场景中的应用。我们发现,自动提示并不总是优于简单的手动提示。我们的研究表明,在这一领域的研究中,除了 fine-tuning 之外还应该使用手动提示作为基线。
Apr, 2023