zero-shot cross-lingual transfer | BriefGPT

关键词zero-shot cross-lingual transfer

搜索结果 - 30

法律主题分类中实现逼真的零 - shot 跨语言转移
本文讨论使用 MultiEURLEX 数据集进行零样本跨语言转移的法律主题分类，介绍了新版本的数据集和使用基于翻译的方法相对于之前最佳的跨语言预训练模型调参的方法的改进，同时提出了一种基于双语教师 - 学生的零样本转移方法。
PDF2 years ago
使用多语言 BERT 进行零样本跨语言迁移中的特征聚合
本文探讨了利用 mBERT 最后一个 transformer 层以外的信息，采用基于 attention 机制的特征聚合模块，对不同层次的信息进行融合。实验结果表明，在 XNLI、PAWS-X、NER、POS 等关键领域任务中，该方法在零
PDF2 years ago
ACL基于重叠的词汇生成改进相关语言间的跨语言转移
本文提出了一种名为 Overlap BPE 的用于增强低网络资源语言在多语言模型中表示的词汇生成算法，并通过多项实验表明，通过增加相关语言之间的词汇重叠度，可以在不降低高网络资源语言表示和准确性的前提下，提高相关低网络资源语言的零样本学习的
PDF2 years ago
ICLRSequential Reptile: 多语言学习的任务内梯度对齐
本文提出了一种用于多语言模型的有效梯度对齐方法，以最大程度地提高知识转移并减少负面影响；在各种多任务学习和零 - shot 跨语言转移任务中得到了广泛验证并取得了优异成果。
PDF3 years ago
EMNLPMultiEURLEX -- 用于零样本跨语言转移的多语言和多标签法律文件分类数据集
MULTI-EURLEX 是一个多语言数据集，用于法律文件的主题分类，其中包含 65,000 个欧盟法律，并使用 EUROVOC 分类法进行了注释。在使用该数据集进行零 - shot 跨语言转移时，发现使用单个源语言对多语言预训练模型进行
PDF3 years ago
ACL基于元学习的零样本跨语言软层选择
该论文提出了一种新的元优化器方法，用于在高资源语言上对多语言预训练上下文嵌入模型进行微调以实现零样本跨语言转移，该方法优于基线模型和 X-MAML 模型。
PDF3 years ago
EMNLP通过鲁棒性训练提升零样本跨语言迁移学习
本文提出了一种通过对抗样本和零样本跨语言转移失败案例进行联系的学习策略，采用对抗性训练和随机平滑这两种方法来训练多语言编码器更加强健的模型，实验结果表明，强健训练可以提高零样本跨语言数据分类任务中的性能，尤其在输入语句属于两种不同语言的情况
PDF3 years ago
ACL多语言多模态预训练用于零样本跨语言视觉语言模型迁移
本文研究了视觉语言模型的零样本跨语言迁移。我们专注于多语言文本到视频搜索，并提出了一种基于 Transformer 模型的方法来学习上下文相关的多语言多模态嵌入。在零样本设置下，我们在用非英语句子查询多语言文本 - 视频模型时发现性能显著下
PDF3 years ago
ACL先对齐，再预测：理解多语言 BERT 的跨语言能力
使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期
PDF3 years ago
分析监督式 NLP 任务中的零样本跨语言迁移
本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。
PDF3 years ago