multilingual benchmark | BriefGPT

关键词multilingual benchmark

搜索结果 - 8

MedExpQA: 多语言大型语言模型在医疗问题回答方面的基准评估
该论文介绍了 MedExpQA，一个基于医学考试的多语言基准，用于评估大型语言模型在医学问答中的表现，并指出目前大型语言模型的性能还有很大的改进空间，特别是对于英语以外的语言。同时，该研究还强调了获取和整合可用的医学知识对于医学问答的后续评
PDF3 months ago
PALO：面向 50 亿人的多语种大型多模态模型
本研究介绍了一个大型多语言多模态模型 Palo，它提供了 10 种主要语言（包括英语、中文、印地语、西班牙语、法语、阿拉伯语、孟加拉语、俄语、乌尔都语和日语）的视觉推理能力，总计覆盖了约 50 亿人口（世界总人口的 65%）。我们的方法采用
PDF4 months ago
EMNLP跳动的节拍：64 种语言中的 LLM 社交语用理解研究
通过对跨语言社会语用含义 (SM) 的多语言预训练语言模型和指导调整的 LLM（如 BLOOMZ 和 ChatGPT）在多语种基准测试 SPARROW 上的性能评估，发现开放源代码的指导调整型 LLM 仍然在各种语言中难以理解 SM，在某些
PDF8 months ago
ACLX-RiSAWOZ：高质量端到端多语对话数据集和少样本代理
本研究的目的是降低使用新語言創建數據集的成本，並通過提出一種使用機器翻譯和後編輯方法的工具集，實現建立高質量多語言對話代理的目的。
PDFa year ago
Babel-ImageNet：大规模多语言视觉语言表示的评估
使用 Babel-ImageNet 建立大规模多语言图像描述数据集，通过在 0-shot 图像分类任务上的表现大幅验证了多语言 VL 模型的性能差异并证明了其在图像 - 文本检索上的可行性。
PDFa year ago
LEXTREME：法律领域的多语言和多任务基准
使用 Transformer 架构的进步，促进了法律 NLP 领域的发展。为了评估其发展，需要有好的基准数据集。但是目前大部分基准数据集只有英文，而且其中缺少多语言数据集。为此，作者选择了 11 个涵盖 24 种语言的数据集，并创建了 LE
PDFa year ago
MDIA：46 种语言多语对话生成的基准
本文介绍了 mDIA，这是第一个跨越低至高资源语言的大规模多语言对话生成基准。通过微调 mT5 和 DialoGPT 两种预训练模型，作者对 46 种语言中的真实对话进行了基线测试，结果表明 mT5 模型在 sacreBLEU 和 Bert
PDF2 years ago
EMNLPX-FACTR: 预训练语言模型多语言事实知识检索
该研究创建了一个跨 23 种不同语言的多语言基准测试，旨在评估语言模型中的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。
PDF4 years ago