cross-lingual transfer | BriefGPT

关键词cross-lingual transfer

搜索结果 - 154

利用词汇相似性实现极低资源语言的零 - shot 机器翻译
本篇论文讨论了如何利用字符噪声注入方法，将近乎无资源语言翻译成英文，使其更能够适应高资源语言，并在多种语言家族的紧密相关语言对中得到了显著的优异表现。
PDFa year ago
探究多语种机器翻译中的词汇共享在印度语言中的应用
本文研究了多语言机器翻译中的词汇共享和转写等策略对翻译性能的影响，并探讨了数据采样和词汇大小之间的平衡。研究发现，转写并不能显著提高翻译性能，而原始脚本训练的多语言机器翻译模型对于不同脚本的语言具有较强的泛化能力。
PDFa year ago
通过基于翻译的对齐实现参数高效的跨语言视觉与语言模型转移
本文提出一种新的参数高效的跨语言转移学习框架，利用基于翻译的对齐方法来缓解多语言差异，并探索参数高效的微调方法，经过广泛的实验表明，我们的框架显著减少了语言之间的多语言差异，并在跨语言转移方面取得了改进，尤其在低资源场景中，同时只保留和微调
PDFa year ago
基于转写的多语言大规模语言模型适应
本文研究了利用大量转写大幅提高多语种预训练语言模型在少资源语言中的性能，并且发现使用 UROMAN 基于的转写方法可以在许多语言中提供强大的性能，特别是在对未见到的语言脚本和数据量有限的情况下。
PDFa year ago
通过近缘语言进行向低资源语言的转移：以法罗语为例的案例研究
通过研究低资源语言法罗语和高资源语言家族之间的语言分类、起源和进化关系，将在多语言语境下的 NLP 应用中常用的 “一刀切”（one-size-fits-all) 的翻译方式转变为提供更高的翻译准确度，同时利用丰富的斯堪的那维亚语言（丹麦语
PDFa year ago
使用 Prompt-Tuning 进行高效跨语言转移学习的对话任务对齐
本文介绍了 XSGD，一个包括 105 种语言的大规模平行多语种对话数据集，并使用基于 prompt-tuning 的方法进行对齐，经研究发现，NLI-based 分类器以及对齐的 prompt 可以实现强大和高效的模型能力和大规模的跨语言
PDFa year ago
ScandEval: 用于北欧自然语言处理的基准测试
本文介绍了一个名为 ScandEval 的斯堪的纳维亚基准平台，该平台可对四个不同任务的任何预训练模型进行基准测试。我们开发并发布了一个名为 scandeval 的 Python 软件包和命令行界面，可以对上传到 Hugging Face
PDFa year ago
借助字符级噪声对 BERT 进行微调，实现零 - shot 迁移到方言和密切相关的语言
本文介绍了一种方法，通过在 fine-tuning BERT 模型时引入不同形式的字符级噪音，实现了对不同方言和语言的零 - shot 跨语言迁移。作者在三个句子级分类任务上 fine-tune BERT，并在若干未知的方言和语言上进行了评
PDFa year ago
基于模型无关元学习的多语言仇恨言论检测
本文提出了 HateMAML 框架，通过 meta-learning 技术和 self-supervision 策略在低资源语言下进行仇恨言论检测，并且达到了比现有方案更好的性能，同时兼备了跨语言迁移和领域泛化功能。
PDFa year ago
ACL认知处理复杂度的跨语言转移
本文探讨了阅读文本时眼动的影响，并研究了多语言模型对跨语言转移的使用。作者使用句子级别的眼动模式将结构复杂性作为认知指标，并表明多语言模型 XLM-RoBERTa 能够成功地预测 13 种形态上不同的语言的模式。作者还对模型对结构复杂性的敏
PDFa year ago
多语言内容管理：Reddit 案例研究
该研究介绍了一个多语言 Reddit 评论数据集，并通过对该数据集的实验分析，阐述了内容管理的挑战和相关研究问题，为自动内容管理的挑战和机遇做准备。
PDFa year ago
ACL使用蒸馏表示进行零和少量训练的任务导向对话代理定位
本文提出了一种利用源语言 ToD 训练数据构建另一种目标语言下的高质量对话代理的方法，从而实现零样本和小样本学习，它通过提高对话数据表示的质量、改进基于实体的机器翻译和自动过滤干扰性翻译来实现这一目标，通过在中英对话数据集 BiToD 上的
PDFa year ago
跨语言和渐进式迁移学习实现高效的语言模型训练
介绍了一种名为 CLP-Transfer 的跨语言和渐进式迁移学习方法，将预训练模型从一个源语言转移到一个新的目标语言，实现了资源高效的训练，同时解决了资源不足的语言之间的表现差距问题，并比单纯的跨语言传输要好。
PDFa year ago
EMNLP多语言 BERT 中的跨语言句法差异：好不好及其对迁移的影响？
该论文研究了多语言 BERT（mBERT）对 24 种不同语言的语法关系的分布，发现该分布与语言形式差异高度一致，提示 mBERT 以与语言多样性一致的方式正确编码语言，并揭示了跨语言传输机制的内在机理。
PDF2 years ago
Mini-Model Adaptation: 通过对齐的浅层训练有效地将预训练模型扩展到新语言
提出了小型模型自适应方法 Mini-Model Adaptation，在参数的部分分数中构建浅层小型模型，以高效地训练新的语种嵌入，可应用于 Transformer 等预训练模型中，跨语言性能与标准方法相当，计算效率高达 2.4 倍。
PDF2 years ago
MM评估字节和 Wordpiece 级别的模型在大规模多语言语义分析中的应用
本研究研究并比较了一个基于字节的（ByT5）和基于单词片段的（mT5）序列模型在 51 种语言的 MASSIVE 多语种语义分析数据集上的表现，实验结果表明通过使用最新的标签投影方法，机器翻译示例可以显著提高精确度，与在所有语言的黄金数据上
PDF2 years ago
EMNLPJamPatoisNLI: 一份牙买加克里奥尔语自然语言推理数据集
JamPatoisNLI 是第一个为一种克里奥尔语提供自然语言推理数据集的项目，是探索从大型单语或多语预训练模型进行跨语言转移的有效性的独特工具，因此它是向一个传统上被忽视的语言进行研究并了解跨语言自然语言处理的有用基准。
PDF2 years ago
所知多语言影响学习多语言的方法：语言特性对多语言文本转换的影响
本文在分析预训练 mT5 模型对 90 种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。
PDF2 years ago
跨语言转移的令人沮丧的简单标签投影
本文分析了在 42 种语言和三个任务（问答，命名实体识别，事件抽取）上，将标注数据转换为多种语言的效果以及不同的标签投影方法，发现名为 EasyProject 的 mark-then-translate 方法在保留标签跨度边界后具有比基于单
PDF2 years ago
斯洛文尼亚语统一问答
本研究旨在将成功的英语问答方法 UnifiedQA 适应于资源较少的斯洛文尼亚语，使用编码器 - 解码器变压器 SloT5 和 mT5 模型，处理四种问答格式，并证明一般模型至少可以和专业模型一样回答不同格式的问题。同时，通过跨语言转移从英
PDF2 years ago