分解促使：揭示英语为中心的大型语言模型中的多语言语言结构知识

Feb, 2024

分解促使：揭示英语为中心的大型语言模型中的多语言语言结构知识

Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models

Ercong Nie, Shuzhou Yuan, Bolei Ma, Helmut Schmid, Michael Färber...

TL;DR该研究介绍了分解提示方法，用于探究英语为中心的大型语言模型在序列标注任务中对语言结构的理解能力，其研究结果表明分解提示优于迭代提示基线，在零样本和少样本情况下具备更高的效用和效率，并发现评估方法和提示中的指令使用对结果有影响，同时发现英语为中心的语言模型在多语言任务中表现优于多语言模型，从而对英语为中心的语言模型的多语言可迁移性进行了深入研究，为了解其多语言语言知识做出了贡献。

Abstract

Despite the predominance of English in their training data, English-centric Large Language Models (LLMs) like GPT-3 and LLaMA display a remarkable ability to perform multilingual tasks, raising questions about the depth and nature of their cross-lingual capabilities. This paper introduces the decomposed prompting approach to probe the linguistic structure un

english-centric large language models decomposed prompting approach sequence labeling tasks universal dependencies part-of-speech tagging dataset multilingual transferability

发现论文，激发创造

分解提示：解决复杂任务的模块化方法

提出了分解提示法（Decomposed Prompting）的方法，通过将复杂任务分解成简单的子任务来解决复杂任务，并且可以针对每个子任务优化其专用提示，进一步分解复杂任务并取得更好的性能，特别是在符号推理任务和多步推理任务中。

Oct, 2022

使用大型语言模型进行相关语言机器翻译的分解提示

本研究提出了一种针对相关语言即语言家族内具有相似语言特征的机器翻译的新方法，将翻译过程分解成单词块翻译的序列，并证明了该方法的有效性。

May, 2023

促使语言模型理解语言结构

使用结构化提示技术，我们证明了预先训练的语言模型（PLMs）可以在零或少量样本情况下执行标记任务，而不是仅靠表面级别的词汇模式，这表明 PLMs 包含了一种通用的语言学知识表示方式。

Nov, 2022

大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

Jan, 2024

反演上下文学习：通过破坏理解提示

通过对大语言模型进行随机组成的实验，研究了任务描述、示例输入、标签、行内指令等多个因素对模型性能的影响，发现重复文本、大型模型以及任务和行内指令对模型性能提升具有积极影响。

Apr, 2024

低资源语言中大型语言模型的少样本跨语言迁移

将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

Mar, 2024

利用具有英语优势的多语言提示，推动低资源语言的 LLMs 民主化

本文提出了一种无监督提示方法，使用高资源语言的合成样本以在低资源语言上进行多语言总结，并且表明该方法在许多低资源语言上胜过有监督的提示。

Jun, 2023

LLMLingua：压缩大型语言模型推理加速的提示

LLMLingua 是一种粗粒度到细粒度的提示压缩方法，利用预算控制器、基于令牌级的迭代压缩算法和基于指令调整的语言模型分布对齐方法，实现高压缩率下语义完整性的维持，有效加速模型推理并降低成本。在多个不同场景的数据集上的实验和分析表明，该方法在性能上达到了最先进的水平，并且能够在保证性能损失很小的情况下进行高达 20 倍的压缩。

Oct, 2023

帮助语言模型学习更多知识：多维任务提示用于少样本调整

通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

Dec, 2023

简单的 LLM 提示是稳健多语言对话评估的尖端技术

研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

Aug, 2023