Jun, 2024

训练太晚，使用太早？关于低资源孟加拉语 LLM 的必要性和可行性的研究

PDF
TL;DR当前需要面临的问题是，是否需要专门面向低资源语言的大型语言模型（LLMs）？我们通过比较英语导向的 LLMs 与细调编码解码模型在孟加拉语下游任务中的表现，发现现有 LLMs 在生成孟加拉语脚本方面面临着挑战，同时也存在着一些数据集方面的偏见，因此需要开发更高效的孟加拉语导向 LLM。
发现论文，激发创造
  • BenLLMEval：对孟加拉自然语言处理中大型语言模型的潜力和陷阱进行全面评估

    评估大型语言模型（LLMs）在低资源语言中的性能，结果显示 LLMs 在各种孟加拉语 NLP 任务中表现不佳，呼吁进一步努力以提高对像孟加拉语这样的低资源语言的 LLMs 的理解

    Sep, 2023

  • 优质数据到文本生成用于严重资源不足的语言的开箱即用大型语言模型

    大型语言模型可以在研究欠资源语言中通过数据到文本生成来弥补性能差距，但人工评估表明 BLEU 分数相比于英语有所下降，对于评估非任务特定系统其适用性存疑。

    Feb, 2024

  • 高效地将预先训练好的语言模型适应新语言

    本文研究如何有效地将任何现有的预训练大型语言模型适应到新的语言中，避免灾难性遗忘和标记器效率低下的问题，并通过添加目标语言的新标记和研究数据混合配方提高标记器的编码效率。实验证明，我们的配方在将英语预训练大型语言模型适应到匈牙利语和泰语方面，能够达到比开源模型更好的性能，同时对英语的回归影响很小。

    Nov, 2023

  • 揭示大型语言模型在 Transformer 模型之上对孟加拉语自然语言推理的优势：一项全面研究

    通过综合评估，本研究在低资源语言（如孟加拉语）的自然语言推理任务中评估了知名大型语言模型和最先进模型的性能，发现虽然大型语言模型在少样本情况下可以达到与微调后最先进模型相媲美或优越的性能，但需要进一步研究来提高我们对大型语言模型在类似孟加拉语等资源有限的语言中的理解。该研究强调了在不同语言环境中探索大型语言模型能力的持续努力的重要性。

    May, 2024

  • 处理低资源语言任务的成本性能优化：使用商业 LLMs

    降低大型语言模型在低资源语言的处理成本，同时确保预测和生成性能不受损失，通过考虑代码混合、翻译和音译等方式来减少 LLM 处理的标记数量，并通过广泛研究 15 种印度语言的 IndicXTREME 数据集来证明最佳交互策略可以将成本降低 90%，并且与原始低资源语言的交互相比性能更好或可比。

    Mar, 2024

  • 穿越博斯普鲁斯海峡：通过低资源语言适应和基准测试推进土耳其大型语言模型

    通过研究低资源语言，对训练策略、模型选择、数据可用性和知识传递等问题进行深入分析，以进一步推进低资源语境下大型语言模型 (LLMs) 的发展，使自然语言处理 (NLP) 的益处更广泛可及。

    May, 2024

  • 阿姆哈拉语 LLaMA 和 LLaVA：低资源语言的多模态 LLMs

    使用数据扩充方法，我们训练了一个多模态的阿姆哈拉语大型语言模型 (LLM)，并引入了一个用于评估的阿姆哈拉语版本的基准数据集。

    Mar, 2024

  • LLM 在低资源翻译中的缺陷：检索和理解均为问题

    本研究通过一系列实验翻译南安第斯克丘亚语为西班牙语，探究预训练大型语言模型在自动化机器翻译中从低资源语言到高资源语言的上下文学习能力。实验结果表明，即使是相对较小的语言模型，在提供了足够相关语言信息的情况下，能够通过提示上下文实现零样本低资源翻译。然而，提示类型、检索方法、模型类型和语言特定因素的不确定效果突显了即使是最佳的语言模型也存在于世界上 7000 多种语言及其使用者的翻译系统中的限制。

    Jun, 2024

  • 跨语言适应多语言预训练语言模型的三重方法

    研究了三种低资源跨语言方法，并在语境学习和微调下发现通过添加额外的主导语言监督信号，对 LLM 的跨语言转移有所改进；同时，发现将目标语言适应词汇重排可能对 ICL 有益，但随着微调而减弱；最后，继续以一种低资源语言进行预训练可提高其他相关低资源语言的模型性能。

    Jun, 2024

  • 超越指标：评估 LLM 在文化细微、资源贫乏的真实场景中的有效性

    评估了在多语言和代码混合通信环境中使用的七个领先大型语言模型（LLMs）的情感分析性能，发现 GPT-4 和 GPT-4-Turbo 在理解语言输入和处理上下文信息方面表现出色，与人的一致性高且决策过程透明，但在非英语环境中的文化细微差别方面存在不稳定性，结果强调了 LLMs 不断改进以有效应对文化差异、资源有限的真实世界环境的必要性。

    Jun, 2024