使用大型语言模型进行相关语言机器翻译的分解提示
该研究介绍了分解提示方法,用于探究英语为中心的大型语言模型在序列标注任务中对语言结构的理解能力,其研究结果表明分解提示优于迭代提示基线,在零样本和少样本情况下具备更高的效用和效率,并发现评估方法和提示中的指令使用对结果有影响,同时发现英语为中心的语言模型在多语言任务中表现优于多语言模型,从而对英语为中心的语言模型的多语言可迁移性进行了深入研究,为了解其多语言语言知识做出了贡献。
Feb, 2024
将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法,优于翻译和 LAFT,并在所有任务和语言上表现最佳。
Mar, 2024
通过研究生成式大型语言模型在机器翻译中的性能,我们发现多语言模型(如 PaLM)在人工翻译输出方面表现出类似人类的水平,能够根据样式指南和语言要求优化所需的翻译细微差别,并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性,我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。
Jan, 2024
本文在多语言和交叉语言设置下,通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。
Jun, 2023
本研究提出了一种名为 SAP 的技术,旨在使双向语言模型具有提示功能。利用机器翻译任务作为案例研究,我们使用 SAP 提示双向 mT5 模型,并证明其少量示例和零量示例的翻译性能优于 unidirectional 模型,同时展示了 SAP 在问答和摘要生成中的有效性,证明提示学习是更广泛的语言模型类别的新兴属性而不仅仅是单向模型的特征。
Sep, 2022
本研究通过利用双语词典的先验知识提供提示,提出了一种新的 DiPMT 方法,可以有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题,并且实验结果表明 DiPMT 能够提高 LLM 的翻译性能。
Feb, 2023
利用翻译记忆作为提示是一种有前途的机器翻译模型上下文学习方法,本文通过使用大型语言模型进行提示,发现 LLM 的‘理解’提示的能力确实有助于更好地利用 TMs,并通过实验证明,使用高质量的 TM 提示可以大大改善预先训练的 LLM 翻译器的结果,甚至可以与最新状态下大规模领域内双语数据和针对下游任务进行调整的 NMT 系统的结果相媲美。
May, 2023
使用大型语言模型通过少量提示将英文数据集转化为多种语言,以实现多语言语义解析,并在两个公共数据集上与传统的翻译 - 训练方法进行比较,表明使用 LLM 更有效。
Oct, 2022
提出了分解提示法(Decomposed Prompting)的方法,通过将复杂任务分解成简单的子任务来解决复杂任务,并且可以针对每个子任务优化其专用提示,进一步分解复杂任务并取得更好的性能,特别是在符号推理任务和多步推理任务中。
Oct, 2022