关键词multilingual large language models
搜索结果 - 20
- PARIKSHA：多语言和跨文化数据上人类 LLM 评估者一致性的大规模调查
本研究评估了多语种大型语言模型的性能，发现 GPT-4o 和 Llama-3 70B 模型在大多数 Indic 语言中表现最佳。我们构建了两个评估设置的排行榜，并分析了人类评估和语言模型评估之间的一致性，发现在两两比较的设置下，人类和语言模 - 朝着真实的多语言大型语言模型迈进：基准测试和对齐策略
在大型语言模型（LLMs）时代，构建能够为全球用户提供服务的多语言大型语言模型（MLLMs）具有重要意义。然而，现有研究很少关注 MLLMs 的真实性。同时，当代多语言对齐技术在平衡大量语言方面常常存在严重的真实性差距，特别是那些与英语差距 - ACL探索 LLM 训练中跨语言对齐的出现
多语言大型语言模型通过隐式对齐语言和神经元重叠达到零 - shot 跨语言转移性能，本研究使用内在探测技术通过检查点观察到神经元重叠和下游性能之间的高相关性，同时探测到预训练过程中隐式对齐和多语言能力的退化现象，为多语言预训练动态提供了新的 - 每种语言都重要：多语言 LLMs 的学习和遗忘
研究探究了有害信息在多语种大型语言模型中的传播，并评估了各种反学习方法的有效性。我们证明了无论以哪种语言出现，一旦通过训练数据引入虚假信息到这些模型中，它可以在不同语言之间传播，从而损害生成内容的完整性和可靠性。我们的发现揭示了标准反学习技 - 多语言大型语言模型与多语言性诅咒
多语言大型语言模型在自然语言处理领域的研究人员和从业者中广受欢迎。本文介绍了多语言大型语言模型的技术方面，并对其底层架构、目标函数、预训练数据来源和分词方法进行了概述。此外，还探讨了不同模型类型的独特特征，包括仅编码器模型、仅解码器模型和编 - 分享的重要性：在 LLMs 中分析不同语言和任务的神经元
多语言大型语言模型（LLMs）的多语言机制对其内部表示的共享程度进行研究，并发现语言分享模式受任务类型和输入的影响，所有共享神经元在生成正确响应中起关键作用，增加所有共享神经元可以提高多语言任务的准确性。
- ACL多语言语言模型的绩效驱动因素是什么？
通过研究 204 种语言的多语言大型语言模型（MLLMs）在不同语言上的表现，考察了预训练数据大小、资源可用性、语言家族和脚本类型等因素对模型性能的影响，并发现对于已知语言来说，预训练数据大小是最重要的因素，而对于未知语言来说，脚本类型和语 - 多语言大语言模型：资源、分类和前沿视角综述
综述多语种大规模语言模型的研究进展、新兴趋势，并提供丰富资源以促进相关研究。
- 多语言大型语言模型综述：语料库、对齐和偏差调查
该研究分析了多语言大型语言模型（MLLMs）的关键问题，包括语言不平衡、多语言对齐和固有偏差，探讨 MLLMs 的全球语言表示能力、偏见和挑战，并提出了有前景的研究方向。
- 计算句级度量预测人类句子理解
创新的方法使用多语言大型语言模型计算句子级别的度量标准，预测并阐明读者在理解句子时遇到的处理困难，提供了实质性的可解释性和高准确性，为将大型语言模型和认知科学整合的未来研究提供了有希望的途径。
- 大型语言模型是并行的多语种学习者
通过将输入翻译成多种语言来提供多语言平行输入（PiM）给多语言大型语言模型（LLMs），从而显著提升它们的理解能力，实验结果表明，多语言输入有助于通过翻译超越传统的上下文学习，激活的神经元数量较少的现象与突触修剪的神经学理论吻合，有助于增强 - Orion-14B：开源多语言大型语言模型
我们介绍了 Orion-14B，这是一个包含 140 亿参数的多语言大型语言模型集合。我们利用数据调度方法在来自英语、中文、日语、韩语和其他语言的多样文本语料库中训练了一个基础模型。此外，我们还对应用于对话和其他特定用例的一系列模型进行了精 - 网络中机器翻译的惊人数量：多样并行的洞察
Web 内容通常被翻译成多种语言，多语言机器翻译常常质量较低，且低资源语言中占大部分的内容是机器生成的多语言内容；我们发现内容选择偏差，即低质量英文内容通过机器翻译大规模转译成较低资源语言；我们的研究对使用从网上刮取的单语和双语数据来训练多 - 提升多对多多语言机器翻译的方法与大型语言模型
本文研究了机器翻译的训练模型，从学习具有广泛平行语料的神经机器翻译模型逐渐转变为在预训练的多语言大型语言模型上进行指导微调，并重点关注增强多对多多语言翻译性能和零 - shot 翻译方向的。我们证明了在指导微调过程中采用的提示策略对零 - - 多语言大型语言模型人类刻板印象泄漏跨语言边界
多语种大型语言模型中存在刻板印象的泄漏现象，表现为正面、负面和非极性关联在所有语言中都存在，尤其是对印地语敏感度最大，而中文敏感度最小；此外，ChatGPT 与人类评分更加匹配。
- 基于最小贝叶斯风险解码的神经机器翻译直接偏好优化
通过最小贝叶斯风险（MBR）解码可以显着提高多语种大型语言模型（MLLMs）的翻译性能。本文展示了如何使用最近开发的强化学习技术 —— 直接偏好优化（DPO）来微调 MLLMs，以实现在推理中获得 MBR 带来的增益而避免额外的计算负担。相 - ACL跨语言和语法下预训练模型的评估
我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练 - BUFFET: Few-shot 跨语言传递的大型语言模型基准测试
这篇研究介绍了一个新的跨语言迁移的评估标准 BUFFET，其中包含 15 个不同类型的任务和 54 种语言，利用该标准评估发现，少量的训练数据对于不同语言和任务之间的语言迁移效果影响较大。
- 多语言大型语言模型还不能切换语言
本文通过大量实证研究探索了多语言大型语言模型在涉及语种切换的情况下情感分析、机器翻译和单词级别语言识别等任务的表现。研究显示，虽然这些模型在使用零 / 少量提示时在某些任务中表现出色，但与较小的微调模型相比，它们的性能仍然有所不适。因此，研 - 语言如何相互影响？研究 LLM 微调期间的跨语言数据共享
本研究使用 TracIn 方法分析多语言大模型的跨语言数据共享机制，发现多语言大模型在微调的早期阶段即依赖多语言数据，且随着微调的进行，这种依赖关系逐渐增强，同时还研究了微调语言对特定测试语言上的模型表现的影响。