multilingual transformers | BriefGPT

关键词multilingual transformers

搜索结果 - 11

ACL跨语言转移的高效语言特定模型精简
提出从大规模多语言 Transformer 中提取压缩的、语言特定的模型的方法，通过二阶段稀疏精调生成双语模型，从而在目标语言性能方面表现出最小的降级而且速度更快。
PDFa year ago
多语言 Transformer 在句子分类上的跨语言可迁移性测量
本文提出了一种衡量跨语言多语言变压器模型的 IGap 跨语言可转移度度量方法，使用该方法可以更好的理解多语言变压器。实验表明，IGap 在度量可转移性和转移方向排名方面优于基线度量方法，还揭示了跨语言可转移的三个发现。
PDFa year ago
SemEval-2023 任务 3 的 mCPT：面向多语言标签感知的对比学习 Transformer 进行少量和零样本框架检测
该论文介绍了零样本学习下多语种多标签框架检测任务的获胜系统，其采用多语种 Transformers 进行预训练，并使用有标签的对比损失函数。此外，作者进行了嵌入空间分析和消融研究，证明了他们的预训练程序如何支持框架检测，推动了计算框架分析的
PDFa year ago
ACLDiTTO: 一种特征表示模仿方法，用于改善跨语言转移
本文提出一种名为 DiTTO 的方法，通过同时降低源语言与目标语言之间的特征不一致性和提高预训练多语言转换器的泛化能力，显著改善了零样本跨语言传递的性能。实证结果表明，对于多个目标语言同时降低特征不一致性对于跨语言传递的成功至关重要。此外，
PDFa year ago
BabelBERT: 大规模多语言 Transformer 遇上大规模多语言词汇资源
本文通过在 50 种语言中使用 BabelNet 这一丰富的跨语言单词知识库，将大规模多语言 Transformer（MMT）暴露于多语言词汇知识，并利用对比目标指导下的词汇专业化过程，大幅提高了双语词汇归纳、跨语言单词相似性和跨语言句子检
PDF2 years ago
ACL多语言原型模型在自然语言理解任务中的跨语言可迁移性研究
本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 me
PDF2 years ago
MM使用多语言双编码 BERT 学习匹配工作候选人
使用候选人放置历史生成标记的 CV-vacancy 数据集，并使用带有 bi 编码器结构的多语言 BERT 来微调，添加余弦相似度对数损失层，从而实现简历和职位匹配络的可维护和可伸缩的管道，以及学习桥接词汇差距和处理语言障碍的多语言转换器可
PDF3 years ago
ACL探究多语言预训练语言模型的迁移学习 —— 以中文自然语言推理为例
研究多语言 transformers 在英文和中文自然语言推断方面的跨语言转移能力，并基于 17 个中文挑战任务对其性能进行测试。研究发现，跨语言模型在训练时使用英语和高质量的单语 NLI 数据（OCNLI）通常表现最好，而自动翻译资源则会
PDF3 years ago
零样本跨语言意图预测和槽填充的多语言码交换
本文提出了一种通过多语言代码切换来增强 Transformer 的语言中立性的新方法，从而解决零样本学习中在未知目标语言下预测用户意图和检测相应选项的问题，并在多个语言上对 MultiATIS ++ 数据集进行实验，相较于现有技术，平均精度
PDF3 years ago
ACLRuSentEval：语言源，编码器力量！
本研究介绍了 RuSentEval 数据集，包含 14 项探测任务并应用多种探测方法探究 5 个多语言 Transformer 模型在俄语和英语上的语言属性分布，结果表明一些属性尽管在语言差异较大的情况下学习方式相似。
PDF3 years ago
从零到英雄：多语言 Transformer 的零 - shot 跨语言转移限制
分析了 massively multilingual transformers 在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了
PDF4 years ago