- 基于提示的微调总是比基本微调更好吗?来自于跨语言理解的洞见
本文提出 ProFiT 管道,研究 Prompt-Based Finetuning 的跨语言能力,发现在语言理解中 Prompt-Based Finetuning 的效果和适用性优于 Vanilla Finetuning,且在少样本场景下表 - ACL通过音标转录整合提升跨语言迁移
我们提出了 PhoneXL 框架,通过使用音素转录作为传统的正字转录之外的附加语言模态,以缓解不同书写脚本语言之间的差距,同时释放出首个音素 - 正字对齐数据集,并展示了音素转录提供了关键信息,能够增强 CJKV 语言之间的跨语言传输,从而 - 跨语言模型预训练的软语言聚类技术
本文提出了 XLM-P 模型,结合上下文获取灵活的编码,实现语言无关以及语言特定知识的轻量级建模,且可以与其他多语言预训练方法轻松集成,提供用于文本分类、序列标记、问答和句子检索的性能改进,对于低资源语言和跨语言传输具有实际优势。
- Allophant:带有发音属性的跨语言音素识别
本文提出了 Allophant,这是一种多语言音素识别器。它仅需要音素清单即可进行跨语言转移,从而实现低资源识别。该架构将组合音素嵌入方法与个别受监督的语音属性分类器相结合在一个多任务架构中。我们还介绍了 Allophoible,它是 PH - 多语言临床命名实体识别:翻译还是跨语言转移?
本文通过比较跨语言转移、翻译方法和无数据训练的三种方法,在法语和德语的临床领域中执行医学命名实体识别,并在医学 NER 测试集上进行了广泛实验,表明翻译方法可以实现与跨语言转移相似的性能,但需要更加认真地设计。
- 多语言语言模型的跨语言短语断点预测迁移学习
本文采用跨语言迁移学习的方式,使用预训练的多语言语言模型,在少量标注数据的情况下,研究了短语断点预测的效果,发现跨语言迁移可以是一种有效的方法,尤其是在低资源语言中,因此建议使用跨语言迁移来改善语音合成前端。
- 多语言变压器中对齐和跨语言转移之间的关系探究
本文研究了多语言语言模型的跨语言转移,并通过证据表明,对翻译句子中的单词对进行重新对准可以在某些情况下显著提高跨语言转移,特别是使用双语词典而不是 FastAlign 提取对齐对的任务中。
- ACL具备目标语言适配器的跨语言迁移
本文旨在通过 fine-tuning 目标语言准备(TLR)适配器来取得高传输性能,同时不牺牲 MAD-X 的高度模块化设计。
- 强健的跨语言转移:通过模型检查点平均化实现免费午餐
本文探讨了在跨语种任务上,fine-tuning 的模型在模型点上的性能评估并不符合 zero-shot 和 few-shot 学习的前提;并提出了一种更为稳健的模型检查点平均方法,特别是在没有标注的目标语言数据的情况下,该方法在多个任务和 - 通过上下文学习提高多语言模型的跨语言可迁移性
本论文提出了一种新的跨语言转移提示方法 In-CLT, 在源语言和目标语言结合的情况下构建演示例子,证明在多语言基准测试中,这种提示方法不仅可以提高跨语言传递的可行性,而且在推理任务中展现出了显著的性能提升,平均比以前的跨语言转移方法提高了 - 多语言摘要中的幻觉检测与缓解
通过发展一种新的度量标准(mFACT)来评估跨语言信实度,利用基于翻译的转移来评估非英语摘要的信实度,通过加权损失方法来减少幻觉,可显著提高交叉语言转移的性能和信实度。
- 通过翻译和注解融合实现更好的低资源实体识别
使用 TransFusion 模型将低资源语言的文本翻译成高资源语言进行训练及注释,再将结构融合回低资源语言,有效提升跨语言命名实体识别 (NER) 的性能。
- 再探可接受判断
在大语言模型背景下,作者介绍了第一份经外语母语人士验证的大规模汉语非英语可接受性数据集 CoLAC,并通过交互式 turing 测试展示 model 和人之间的性能差距,同时也证明了可接受性知识可以跨越不同语言进行跨语言转移。
- 多语言翻译的像素表达和数据效率跨语言迁移
使用像素表示方法来训练多语言机器翻译模型,实现了与子字嵌入相媲美的性能,并发现像素表示具有无缝跨语言迁移和比扩展词汇等替代方法更高的数据效率
- mPLM-Sim:多语言预训练语言模型中更好的跨语言相似性和迁移揭示
本文提出了一种新的多语言相似性度量方法 mPLM-Sim,通过从 mPLMs 中使用多语言并列语料库感知不同语言之间的相似性,结果表明该方法较传统的语言相似性度量方法具有更高的相关性,并在零 - shot 跨语言转移任务中展现了更好的效果。
- 跨语言转移可能会加剧情感分析中的偏见
通过因果评估测试了跨语言转移在情感分析方面的使用是否导入了性别或种族偏见,并发现跨语言转移的系统通常比其单语对应物更具有偏见,同时我们还发现种族偏见比性别偏见更普遍。
- 机器创建的通用语言,用于跨语言传输
本文提出了一种新的中间语言,机器创建的通用语言(MUL),将多种自然语言翻译成同一通用词,从而实现更好的跨语言转移和更好的解释性能,实验结果表明,与多语言预训练相比,将其翻译成 MUL 可获得更好的性能,并且 MUL 具有很好的解释性能。
- 翻译是否有帮助?低资源对话生成中跨语言转移的实证分析
本文研究了在跨语言对话生成任务中是否使用机器翻译系统能够提高中文的自然度、相关性和跨领域可传递性,研究表明直接使用英语对话语料比使用翻译版本更好。建议未来的研究应集中于利用英语数据进行跨语言转移。
- 通用多语言文档编码器
本研究使用维基百科作为训练数据,通过交叉语言对比的目标来训练具有上下文感知的浅层文档转换器,它可以用于监督和非监督文档级任务。该模型在两个常见的跨语言文档级任务中比基于段落的表示和多语言 Longformer 表现更好,并成功推广到了未见过 - 利用词汇相似性实现极低资源语言的零 - shot 机器翻译
本篇论文讨论了如何利用字符噪声注入方法,将近乎无资源语言翻译成英文,使其更能够适应高资源语言,并在多种语言家族的紧密相关语言对中得到了显著的优异表现。