language-specific knowledge | BriefGPT

关键词language-specific knowledge

搜索结果 - 4

ACLmCSQA: 采用语言模型和人类统一创建策略的多语言常识推理数据集
通过语言模型的构建过程，使用 LM 生成问题 / 答案、改进答案和验证 QA，然后减少人工验证的工作量，我们提出了 Multilingual CommonsenseQA（mCSQA），这是一个用于评估多语言 LM 的跨语言语言传递能力的基准
PDFa month ago
跨语言模型预训练的软语言聚类技术
本文提出了 XLM-P 模型，结合上下文获取灵活的编码，实现语言无关以及语言特定知识的轻量级建模，且可以与其他多语言预训练方法轻松集成，提供用于文本分类、序列标记、问答和句子检索的性能改进，对于低资源语言和跨语言传输具有实际优势。
PDFa year ago
多语言 BERT 的语言特异性和微调的影响
对多语言 BERT（mBERT）进行 fine-tuning，研究其语言特定知识和语言无关知识之间的关系。实验结果表明，fine-tuning 导致模型的表征能力重新组织，增强了语言无关表征，牺牲了语言特定表征。
PDF3 years ago
ACL基于重要性的神经元分配在多语言神经机器翻译中的应用
本篇研究论文提出了一种新的多语言神经机器翻译模型，将模型神经元划分为通用部分和特定语言部分，以解决当前的多语言翻译方法忽略语言特定知识的问题。实验证明，该方法对于多种语言对有很好的效果和普适性。
PDF3 years ago