mt5 | BriefGPT - AI 论文速递

关键词mt5

搜索结果 - 13

生成任务中有效的零射击跨语言知识转移的关键要素
零 - shot 跨语言生成的前提是在一个语言上对多语言预训练语言模型进行微调，并将其用于其他语言的生成任务中。先前的研究注意到生成错误语言的频繁问题，并提出了解决方法，通常使用 mT5 作为基础模型。本研究在统一设置下比较了文献中提出的各
PDF3 months ago
Vashantor：用于孟加拉区域方言自动翻译到孟加拉语的大规模多语种基准数据集
本研究通过创建一个包含 32,500 个句子的语料库，涵盖孟加拉地区的 5 种地方性孟加拉方言，提出了一种将这些方言翻译为标准孟加拉语并准确检测来源地区的模型 mT5 和 BanglaT5。实验结果显示，孟加拉地区方言的 BLEU 得分最高
PDF6 months ago
使用多语言变压器模型对印度语言进行摘要
本研究采用 IndicBART 和 mT5 模型，研究它们在印度语言数据集上的摘要性能，结果以 ROUGE-1、ROUGE-2、ROUGE-3 和 ROUGE-4 分数为性能指标。
PDFa year ago
HunSum-1：匈牙利文抽象摘要数据集
介绍 HunSum-1: 一个用于匈牙利摘要生成的数据集，包含 114 万条新闻文章；该数据集是通过 CommonCrawl 从 9 个主要的匈牙利新闻网站收集，清理和去重而构建的；使用该数据集，我们基于 huBERT 和 mT5 构建抽象
PDFa year ago
所知多语言影响学习多语言的方法：语言特性对多语言文本转换的影响
本文在分析预训练 mT5 模型对 90 种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。
PDFa year ago
斯洛文尼亚语统一问答
本研究旨在将成功的英语问答方法 UnifiedQA 适应于资源较少的斯洛文尼亚语，使用编码器 - 解码器变压器 SloT5 和 mT5 模型，处理四种问答格式，并证明一般模型至少可以和专业模型一样回答不同格式的问题。同时，通过跨语言转移从英
PDF2 years ago
Basaa 语言的声调预测和正字转换
使用 seq2seq 模型结合 BERT 和 mT5 算法，针对录入非官方 Basaa 语言的基督教传教士的文字进行转写，取得了 CER 和 WER 等指标优秀的结果。
PDF2 years ago
MDIA：46 种语言多语对话生成的基准
本文介绍了 mDIA，这是第一个跨越低至高资源语言的大规模多语言对话生成基准。通过微调 mT5 和 DialoGPT 两种预训练模型，作者对 46 种语言中的真实对话进行了基线测试，结果表明 mT5 模型在 sacreBLEU 和 Bert
PDF2 years ago
基于分类和生成方法的阿拉伯语句子简化
本文尝试构建一种现代标准阿拉伯语 (MSA) 句子级简化系统，使用两种方法进行简化：基于分类的方法和生成式方法 (mT5)，并使用 BERTScore 评估了它们的有效性。
PDF2 years ago
AllWOZ：面向所有人的多语言任务导向对话系统
这篇论文介绍了 AllWOZ，它是一个涵盖英语、汉语、韩语、越南语、印地语、法语、葡萄牙语和泰语等八种语言的多语言多领域任务导向客户服务对话数据集，并且利用元学习将 mT5 应用于这个多语言数据集的基准测试。
PDF2 years ago
ACLnmT5 - 预训练大规模多语言语言模型是否仍需使用平行语料？
本文研究了在 mT5 预训练模型中加入平行数据对其性能的影响，结果表明：在预训练期间将多项任务结合进行语言建模，特别是机器翻译等目标任务，可以明显提高其在多语种和跨语种任务中的性能，但随着模型容量的增加，收益开始减少，这表明平行数据对较大的
PDF3 years ago
探索文本到文本变换器的使用，实现英语到印地语机器翻译的合成混合代码技术
本研究尝试解决单语言和混合编码语言之间的翻译问题，针对单语英文到 Hinglish 的转换，我们提出了多种模型，其中使用事先训练的 mT5 和 mBART Transformer-based 编码器 - 解码器模型表现良好。同时，我们还提出
PDF3 years ago
mT5: 一种大规模多语言预训练文本到文本的转换器
本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外
PDF4 years ago