零样本跨语言语义解析
本文提出一种零样本方法,该方法可以在只在其他源域示例中进行训练的情况下解析看不见领域的话语,并通过词汇对齐分数和全局推理将槽替换为知识库常量,从而解决了当前语义解析器需要昂贵监督并且不能推广到新领域的问题。
Apr, 2018
本文探讨了如何通过在不同语言中打标注的数据来学习语义解析器的分布式逻辑形式表示,以提高特定语言下单语义解析器的性能,并在标准的多语言 GeoQuery 数据集上得到了改进的结果。
Jun, 2018
本篇论文研究了是否可以利用大规模多语言语料库(multilingual BERT)上预训练的现成双向深度句子表征,开发出一种无监督的通用句法分析器,以支持低资源语言的处理。实验结果表明,我们的方法在六种真正的低资源语言中均优于 CoNLL 2018 语言特定系统,但仍存在一些限制,如句法分析精度仍然随训练语言的变化而变化,并且在某些目标语言中,零 - shot 转移在所有测试条件下都无法成功,这引发了人们对整个方法的普适性问题的担忧。
Oct, 2019
本研究采用来自多任务学习的自动课程学习方法,旨在动态优化对于语法分析模型下游任务的性能,从而实现在低资源语言中的零样本情况下的跨语言迁移,表明这种方法比均匀和大小成比例采样更好。
Mar, 2022
通过使用预训练模型,我们提出了一种零样本跨语言转移的新方法,它能够在低资源语言上实现任务感知的双语信息对齐,并利用未标记数据进行自我训练,从而实现多种任务上的最新技术提升,无需并行语料库或翻译模型。
Oct, 2023
本研究的主要目的是使一个语义解析器模型从英语语言转移到其他多种语言和领域上,通过机器翻译、释义、多语言预训练模型,我们得出一个基于 Transformer 的语义解析器,用于在德语和中文中准确解析。实验表明,机器翻译结合多组 MT 引擎释义可以近似于多种语言的训练数据,同时我们还成功地将训练数据减半,最终准确度仅低于完整翻译 2%。
Apr, 2020
跨语言语义解析利用最优传输从高资源语言(例如英语)向训练数据稀缺的低资源语言转移解析能力。我们提出了一种新的跨语言语义解析方法,通过显式地最小化概率潜变量之间的跨语言差异来改善自然语言解析,减少训练样本的使用。我们在 MTOP 和 MultiATIS++SQL 两个数据集上评估方法,在少样本跨语言情景下取得了最先进的结果。消融研究进一步揭示了我们的方法即使没有平行输入翻译也能提高性能。此外,我们展示了我们的模型更好地在潜空间中捕获跨语言结构,从而提高了语义表示的相似性。
Jul, 2023