multilingual pretrained language models | BriefGPT

关键词multilingual pretrained language models

搜索结果 - 16

TransMI: 创建多语言预训练语言模型的强基线框架，用于音译数据
该论文提出了一个简单而有效的框架 TransMI，通过利用多语言预训练语言模型（mPLMs）及其伴随的标记器，将数据转写成共同脚本，从而创建一个强大的基准，有效处理转写数据，提高 3% 至 34% 的性能。
PDF2 months ago
ColBERT-XM: 零射多语信息检索的模块化多向量表示模型
这项研究提出了一种新颖的模块化密集检索模型 ColBERT-XM，它通过学习单个高资源语言的丰富数据，并能够有效地零 - shot 转换到各种语言，从而消除了对特定语言的标记数据的需求。通过展示在零 - shot 场景中的娴熟表现，ColB
PDF4 months ago
TransliCo: 解决多语种预训练语言模型中的脚本障碍的对比学习框架
通过 TransliCo 框架中的 Transliteration Contrastive Modeling (TCM) 对 mPLM 进行精调，通过对其训练数据中的句子及其在统一脚本 (Latn) 中的音译进行对比，确保了不同脚本的统一表
PDF6 months ago
EMNLP语言表征投射：我们能在多语言语言模型中跨语言转移事实知识吗？
通过两个无参数的语言表示投影模块（LRP2），本文调查了从英语到非英语语言的显式传输相对丰富的事实知识的可行性，并在 mLAMA 数据集上的实验结果证明了 LRP2 显著提高了事实知识检索精度，促进了对多种非英语语言的知识传递能力。
PDF8 months ago
基于提示的微调总是比基本微调更好吗？来自于跨语言理解的洞见
本文提出 ProFiT 管道，研究 Prompt-Based Finetuning 的跨语言能力，发现在语言理解中 Prompt-Based Finetuning 的效果和适用性优于 Vanilla Finetuning，且在少样本场景下表
PDFa year ago
mPLM-Sim：多语言预训练语言模型中更好的跨语言相似性和迁移揭示
本文提出了一种新的多语言相似性度量方法 mPLM-Sim，通过从 mPLMs 中使用多语言并列语料库感知不同语言之间的相似性，结果表明该方法较传统的语言相似性度量方法具有更高的相关性，并在零 - shot 跨语言转移任务中展现了更好的效果。
PDFa year ago
基于转写的多语言大规模语言模型适应
本文研究了利用大量转写大幅提高多语种预训练语言模型在少资源语言中的性能，并且发现使用 UROMAN 基于的转写方法可以在许多语言中提供强大的性能，特别是在对未见到的语言脚本和数据量有限的情况下。
PDFa year ago
EMNLP多语言句子转换器作为多语词汇对齐器
本篇论文探究了多语言句子 Transformer LaBSE 在多语言单词对齐问题上的表现以及提出了一种用于进一步改进的平行语料库微调方法，实验证明我们的方法优于先前的最先进模型，可支持单个模型中的不同语言对的对齐，甚至在零射击语言对上实现
PDFa year ago
跨语言检索增强低资源语言提示
使用高资源语言作为提示，通过检索从而增强上下文，提出的 PARC 管道，可以提高低资源语言的零 - shot 表现。在对涵盖 6 个语言家族的 10 个低资源语言进行多语言并行测试集时，PARC 可以在未标记的设置中提高 5.1％，在标记的
PDF2 years ago
EMNLP使用交叉编码器重新排序提高双语词典归纳能力
本文提出了 BLICEr（BLI with Cross-Encoder Reranking）方法，是一个半监督的后处理重排序方法，用于任意预先计算过的 CLWE 空间，取得了基于两个标准 BLI 基准的新的最先进结果，涵盖了各种不同语言的宽
PDF2 years ago
HiJoNLP 参加 SemEval-2022 任务 2: 使用多语言预训练语言模型检测多词表达的成语性
使用多语言预训练语言模型的上下文表示仅探测习语性的方法，实验发现模型规模越大在习语性探测上越有效。然而，使用较高的模型层不一定能够保证更好的性能。在多语言场景下，不同语言的融合不一致，资源丰富的语言比其他语言更具有优势。
PDF2 years ago
ACL最劣情况感知自动课程学习下的零样本依存句法分析
本研究采用来自多任务学习的自动课程学习方法，旨在动态优化对于语法分析模型下游任务的性能，从而实现在低资源语言中的零样本情况下的跨语言迁移，表明这种方法比均匀和大小成比例采样更好。
PDF2 years ago
ACLmLUKE: 多语言预训练语言模型中实体表示的强大力量
此篇论文研究了如何利用来自 Wikipedia 实体的跨语言对齐信息来提高多语言预训练语言模型的效果，并探索了在下游跨语言任务中使用实体表示方法的有效性。
PDF3 years ago
在上下文嵌入中定位语言特定信息
本研究旨在了解多语言预训练语言模型（MPLMs）在不受监督学习方式下与其多语性之间的关系，指出 MPLMs 的表示是否是语言无关的或与学习任务预测头相互交错，同时，我们定位了 MPLM 中的语言特定信息，并确定其维度和发生这些信息的层次，以
PDF3 years ago
ACL异构图神经网络实现跨语言文本分类
该论文提出了一种利用图卷积网络在跨语言文本分类中融合异构信息的简单高效方法，利用词性角色、语义相似度和文档翻译等信息构建了异构图，实现了在所有任务中显著优于现有模型的性能和低资源情况下良好的一致性表现。
PDF3 years ago
ACL先对齐，再预测：理解多语言 BERT 的跨语言能力
使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期
PDF3 years ago