May, 2023

LLMs 中并非所有语言的质量相同：通过跨语言思维提示提高多语言能力

PDF
TL;DR本研究提出了一种名为跨语言思维提示（XLT）的方法，通过激发跨语言和逻辑推理技能，改善了大语言模型的多语言能力，并在与推理、理解和生成有关的 7 个基准测试中进行了全面的评估，实验结果显示 XLT 不仅显著提高了各种多语种任务的性能，而且还显著减少了不同语言中每个任务平均性能和最佳性能之间的差距。
large language modelsmultilingual capabilitycross-lingual thought promptinglogical reasoningtask performance
发现论文，激发创造
  • 简单的 LLM 提示是稳健多语言对话评估的尖端技术

    研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

    Aug, 2023

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • 使用翻译记忆增强大型语言模型翻译器

    利用翻译记忆作为提示是一种有前途的机器翻译模型上下文学习方法，本文通过使用大型语言模型进行提示，发现 LLM 的‘理解’提示的能力确实有助于更好地利用 TMs，并通过实验证明，使用高质量的 TM 提示可以大大改善预先训练的 LLM 翻译器的结果，甚至可以与最新状态下大规模领域内双语数据和针对下游任务进行调整的 NMT 系统的结果相媲美。

    May, 2023

  • 在教育和评估应用中探索提示式大型语言模型的能力

    利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

    May, 2024

  • 通过多语言提示翻译进行自然语言推理的跨语言迁移

    基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在 XNLI 的少样本设置中，MPT 表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT 比普通提示更为突出。

    Mar, 2024

  • 大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

    通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

    Jan, 2024

  • 跨语言迁移中多源语言训练的分析

    多语种语言模型，交叉语言迁移，源语言，嵌入空间，语言组合

    Feb, 2024

  • 利用具有英语优势的多语言提示，推动低资源语言的 LLMs 民主化

    本文提出了一种无监督提示方法，使用高资源语言的合成样本以在低资源语言上进行多语言总结，并且表明该方法在许多低资源语言上胜过有监督的提示。

    Jun, 2023

  • 大型语言模型的推理：一项综述

    扩大语言模型的参数规模到数十亿个参数开辟了上下文学习的可能性，允许对模型进行指导调整和少样本学习，从而在模型未经过专门训练的任务上取得了突破性的语言任务性能，如翻译、摘要和问答。本文回顾了基于提示的推理领域的迅速发展。我们的分类法识别出生成、评估和控制多步推理的不同方法。我们对核心方法和开放问题进行了深入研究，并提出了近期的研究议程。最后，我们强调了推理和基于提示学习之间的关系，并讨论了推理、顺序决策过程和强化学习之间的关系。我们发现通过合理使用提示可以实现自我改进、自我反思和推理过程的一些元认知能力。从使用 LLMs 进行推理到 LLMs 进行推理的真正自我改进和自我推理仍然是未来的工作。

    Jul, 2024

  • 非英语问题下不要信任 GPT

    本文提供了一种系统方法来衡量 LLMs 在多语言环境下的表现差异，探讨了 LLMs 的跨语言概括现象，结果表明 GPT 在多语言环境下表现出高度翻译一致的行为。

    May, 2023