cross-lingual transfer | BriefGPT

关键词cross-lingual transfer

搜索结果 - 159

ACL一种平衡数据方法用于评估跨语言转移：语言血库的映射
本文研究表明：BERT 模型的预训练语言的选择影响跨语言转移，基于平衡数据的零 - shot 性能检验表明，改善下游表现的预训练语言被称为捐赠者，而在零 - shot 性能方面得到改善的语言则被称为接受者。我们提出了一种具有二次时间复杂度的
PDF2 years ago
ICLR使用流形混合增强跨语言传递
通过跨语言流域混合的 X-Mixup 方法，根据大规模的预训练的多语言表示，以解决不同语言之间表示差异的问题并提高多个文本理解任务的表现
PDF2 years ago
EMNLP语言污染现象解释英语预训练模型的跨语言能力
本文研究预训练语言模型在跨语言转移方面的表现，发现常见的英文预训练集中包含大量非英文文本，即使数量仅占不到 1%，也会导致大规模数据集中有数亿个外语词汇。作者还展示了即使是这些少量的非英文数据，也能够促进模型在目标语言上的跨语言转移，并且目
PDF2 years ago
跨语言调整上下文词表示对零 - shot 迁移的影响
本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。
PDF2 years ago
基于 Few-Shot 的跨语言迁移方法用于混合代码临床文本的粗粒度去识别化
本文实证展示了预训练语言模型在多语言跨领域少样本学习任务中的交叉语言迁移特性，并将其应用于解决缺乏数据和真实世界挑战的混合代码（西班牙语 - 加泰罗尼亚语）临床笔记：保护个人隐私信息的命名实体识别。
PDF2 years ago
ACLCrossAligner & Co: 面向任务的跨语言自然语言理解的零 - shot 传递方法
CrossAligner 是一种实现零 - shot 跨语言传递任务知识的有效方法，利用未标记并行数据进行学习对齐，其细调语言模型优于预期。
PDF2 years ago
ACL跨语言零 - shot 事件论元抽取的多语言生成语言模型
本文介绍利用多语言预训练生成式语言模型进行零 - shot 的跨语言事件论元提取的研究。通过将 EAE 视为语言生成任务，论文提出的方法能够有效编码事件结构并捕获论元之间的依赖关系，提出了语言无关的模板以表示事件论元结构，从而适用于任何语言
PDF2 years ago
自动语音识别多语言模型综述
该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。
PDF2 years ago
探究什么让跨语言转移变得困难：Oolong 的受控研究
为了解决跨语言转移中诸如标记化、形态和句法变化等因素的影响，我们提出了一组控制性转移研究，针对 GLUE 任务逐一更改不同的因素，然后测量预训练模型在下游性能中的下降。我们发现，最具影响力的因素是将新的嵌入与现有的变压器层对齐，而旧有的预训
PDF2 years ago
EMNLP多语言语言模型的少样本学习
本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。
PDF3 years ago
多语言领域自适应翻译：通过适配器解耦语言和领域信息
本文研究了在机器翻译领域中适配器的组成方法，旨在实现多领域和多语言（全资源场景）的参数效率适配，或在无法提供特定语言对的平行数据（部分资源场景）中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成，但这篇论文发现了将两种适配器
PDF3 years ago
ACL为实现零样本神经机器翻译最大化利用多语言预训练
论文证明多语言预训练和微调策略对于零 - shot 翻译是至关重要的，本文提出了一个强大的多语言翻译模型 SixT+，支持 100 多种源语言，并实现了在不同翻译任务中的最好表现。
PDF3 years ago
EMNLP跨语言文化下的视觉推理
通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了一个新的 ImageNet-style 分层协议，从本地化的角度推荐相关概念和图像，建立了一个用于多文化及多语言视觉和语言推理的数据集 MaRVL，并列举出一系列现代模型的基
PDF3 years ago
ACL通过注入字符级噪声改善密切相关语言之间的零样本跨语言转移
通过在高资源语言中增加字符级噪音，我们提出了一种简单而有效的策略，以增强密切相关的语言之间的跨语言转移，从而提高 POS 标记和主题识别等任务的零样本转移能力。
PDF3 years ago
ACL基于维基数据的多语义解析中的构成性泛化
本篇文章提出了一种基于 Wikidata 的多语言、平行的问句对数据集，即 Multilingual Compositional Wikidata Questions（MCWQ），用于分析语义解析器在英语、希伯来语、卡纳达语和汉语中的组合泛
PDF3 years ago
跨语言转移的潜在翻译模型
提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。
PDF3 years ago
ACL探究多语言预训练语言模型的迁移学习 —— 以中文自然语言推理为例
研究多语言 transformers 在英文和中文自然语言推断方面的跨语言转移能力，并基于 17 个中文挑战任务对其性能进行测试。研究发现，跨语言模型在训练时使用英语和高质量的单语 NLI 数据（OCNLI）通常表现最好，而自动翻译资源则会
PDF3 years ago
ACL如何将预训练的多语言模型应用至 1600 种语言
使用新约圣经等语料，对现有方法对新语言进行预训练模型转移进行了评估，并发现继续预训练是最好的方法，并且在词性标注和命名实体识别等任务中可以获得高达 17.69％的精度提升。
PDF3 years ago
ACLZmBART：一种用于语言生成的无监督跨语言转移框架
本文针对自然语言生成中跨语言转移的研究相对匮乏，介绍了一种无监督的跨语言语言生成框架 ZmBART，使用少量高资源语言数据进行监督学习，并通过预训练的方式，利用三种语言的单语数据来进行无监督学习，最终在多种低资源语言上获得了较好的性能。
PDF3 years ago
ACL语言相似性和书写形式对阿尔及利亚多层次方言语料库的相互作用
本篇研究探讨了跨语言相似度与不同文本之间的相互作用，针对两个监督学习任务，即词性标注和情感分析，使用新标注的阿尔及利亚用户生成评论语料库和多语言模型进行研究，并发现语言的相似度和文本差异之间存在微妙的关系。
PDF3 years ago