Jan, 2024

介绍 Bode：用于葡萄牙语基于提示任务的精细调整大型语言模型

HTML
PDF
TL;DR提出了一种基于LLaMA 2的经过精调的模型，用于处理葡萄牙语提示，并通过零样本方法在分类任务中进行性能评估，为葡萄牙语提供了令人满意的结果，并且具有研究或商业用途的自由模型。
发现论文，激发创造
  • 评估语言模型中的语言推广能力：面向巴西葡萄牙语的数据集

    本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。

    May, 2023

  • 多语言大型语言模型还不能切换语言

    本文通过大量实证研究探索了多语言大型语言模型在涉及语种切换的情况下情感分析、机器翻译和单词级别语言识别等任务的表现。研究显示，虽然这些模型在使用零 / 少量提示时在某些任务中表现出色，但与较小的微调模型相比，它们的性能仍然有所不适。因此，研究者认为未来需要进一步研究来完全弥合这一差距。

    May, 2023

  • 有监督的知识提升大语言模型在上下文学习中的表现

    通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高LLMs的泛化能力和准确性的关键挑战仍未得到充分探索。

    Dec, 2023

  • 大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

    通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

    Jan, 2024

  • GlórIA - 一种面向葡萄牙语的生成式和开放性大型语言模型

    通过Gl'orIA这一强大的欧洲葡萄牙语解码器 LLM，在多个下游任务中，Gl'orIA在语言模型和生成有丰富知识且连贯的葡萄牙语文本方面远优于现有的 PT 解码模型。

    Feb, 2024

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将LLaMa适应于Kinyarwanda、Hausa和Luganda等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • 大型语言模型的高效提示方法综述

    在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

    Apr, 2024

  • 大型语言模型的国际化综述：最新进展和新的研究方向

    对大型语言模型（LLMs）在多语种环境中的应用进行了综述，包括训练和推理方法、模型安全性、多领域与语言文化、数据集使用，同时讨论了相关方面的主要挑战和潜在解决方案，并提出了进一步增强语言模型的未来研究方向。

    May, 2024

  • 弥补鸿沟：提升LLM多语言表现的动态学习策略

    通过优化LLM的提示策略、使用混合方法融合LLM检索增强生成和多语言嵌入，以及动态选择最佳提示策略、LLM模型和嵌入模型，我们提出了一种能够显著提高多语言能力的新技术。

    May, 2024

  • 用英语询问更佳：对大型语言模型在英语、低资源和跨语言环境中的评估

    本研究针对大型语言模型（LLMs）主要在英语环境中评估的不足，特别是对南亚低资源语言的探讨进行了深入分析。研究采用了零-shot 提示和五种不同的提示设置，结果表明，GPT-4在各语言模式下均优于Llama 2和Gemini，且所有三种模型在英语提示下表现优于其他低资源语言提示。这一发现强调了针对低资源语言的LLMs改进需求，以推动更通用的自然语言处理应用的发展。

    Oct, 2024