cross-lingual models | BriefGPT

关键词cross-lingual models

搜索结果 - 10

借助语言对齐将大型语言模型推广到非英语语境
通过建立语言间的语义对齐，提出通过使用非英语训练数据来增强预训练大型语言模型在非英语语言上的能力，并通过实验结果证明此方法在六种非英语语言上超过英语模型 42.50%，在汉语人文任务上超过英语模型 8.2%。同时发现，使用非英语文本作为翻译
PDFa year ago
DistilXLSR: 轻量级跨语言语音表示模型
本文介绍了一种基于 DistilXLSR 的语音表征模型，通过随机打乱现有语音的音素，降低语言信息，在只使用英语数据的情况下，压缩跨语言模型并设计一种层级初始化方法，成功减少 50% 参数并在 15 种低资源语言和 2 种教师模型的实验中保
PDFa year ago
通过本地结构探针检测对多语言模型不可理解的语言
本研究旨在通过不需要标注数据的方法，检测当前哪些语言无法受益于跨语言模型，我们基于构建一个跨语言句子相似度任务，对 350 个主要的低资源语言进行了实证评估。
PDF2 years ago
LyS_ACoruña 在 SemEval-2022 任务 10 中：将现成工具用于情感分析和语义依存分析
本文使用双仿射语义依赖分析器、大型预训练语言模型和公开可用的翻译模型解决了结构化情感分析的问题。对于单语言环境，作者考虑了在单个语料库上训练和跨语言模型上下文下训练。对于零样本场景，作者通过单词级别的翻译和合并训练数据来处理目标语料库。在后
PDF2 years ago
ACL预训练神经网络剪枝的对齐权重正则化器
本论文研究了迭代剪枝在零样本测试性能上的影响，特别是对跨语言模型的影响，提出了两种权重正则化方法以缓解剪枝引起的跨语言性畸变，并实现了良好的性能表现。同时，这也是关注跨语言语言模型压缩的首个研究。
PDF2 years ago
EMNLP为跨语言语言模型预训练分配大型词汇容量
通过 VoCap 算法确定语言所需的词汇容量并使用 k-NN 目标采样来加速昂贵的 softmax，从而缓解词汇量增加的副作用，提高交叉语言模型的预训练速度和性能。
PDF3 years ago
El Volumen Louder Por Favor: 任务导向的语义解析中的语码转换
本研究的重点在于 Spanglish，提出了两种数据增强方法解决 CS 样本不足问题，结合少样本的情况，使零样本和全数据的准确度差距缩小了三分之二。
PDF3 years ago
EMNLP正则化表示对齐下的跨语言口语理解
本篇论文提出了一种基于正则化和对抗训练的跨语言模型，能够在口语理解系统中实现单词层面和句子层面的跨语言表示对齐，并在少量数据和零样本情况下实现比当前最先进方法更好的性能表现。
PDF4 years ago
AAAI跨语言序列标注中词序信息的重要性
通过减少源语言单词顺序信息，实现跨语言模型的性能提升，并基于此提出了一种新的 fine-tuning 方法，可以在跨语言序列标注任务中实现更好的零 - shot 跨语言性能。
PDF4 years ago
EMNLPMultiFiT：高效的多语言语言模型微调
本研究提出了 Multi-lingual language model Fine-Tuning (MultiFiT) 方法，使得从未标注的数据中有效地训练和优化预训练语言模型，特别对于低资源性语言，实现了零样本跨语言模型，并在两个跨语言分类
PDF5 years ago