AAAIDec, 2021

基于句间依存图的零 - shot 跨语言机器阅读理解

PDF
TL;DR通过引入 Universal Dependencies 中的句法特征，特别是句子内的句法关系和句子间的句法关系，从而建立一个跨语言的 Inter-Sentence 依存图，并提出了一个 ISDG 编码器，能在无需跨语言训练的情况下显著提高零 - shot 的性能。
cross-lingual machine reading comprehensionuniversal dependenciesinter-sentence syntactic relationsdependency treeszero-shot performance
发现论文，激发创造
  • 学习语义解耦表示以实现多语言机器阅读理解中的零样本跨语言转移

    本文提出一种新颖的多语言机器阅读理解框架，配备 Siamese Semantic Disentanglement Model（SSDM），用于在多语言预训练模型中学习的表示中分离语义和句法，以明确将语义知识转移到目标语言；实验证明，该方法比基于 mBERT 和 XLM-100 的模型更为有效。

    Apr, 2022

  • 基于预训练多语言句子表示的零样本依存句法分析

    本篇论文研究了是否可以利用大规模多语言语料库（multilingual BERT）上预训练的现成双向深度句子表征，开发出一种无监督的通用句法分析器，以支持低资源语言的处理。实验结果表明，我们的方法在六种真正的低资源语言中均优于 CoNLL 2018 语言特定系统，但仍存在一些限制，如句法分析精度仍然随训练语言的变化而变化，并且在某些目标语言中，零 - shot 转移在所有测试条件下都无法成功，这引发了人们对整个方法的普适性问题的担忧。

    Oct, 2019

  • 关于句法差异与零 - shot 表现之间的关系

    本文研究在翻译过程中保留句法关系的程度与零样本情况下正确构造解析树的难度之间的联系，通过将 Universal Dependencies 从英语传输到不同的语言进行测试，结果表明跨语稳定性与零样本解析性能之间存在强烈的关联。

    Oct, 2021

  • 句子内和跨句子边界的神经关系抽取

    本文提出了一种新的架构 iDepNN，它可以通过循环和递归神经网络对最短和增强的依赖路径进行建模，以从跨句子的实体对中提取关系，并在新闻和医学领域的数据集上实现了最新技术的表现和更好的精度和召回的平衡，在 BioNLP 共享任务 2016 中胜过了 11 个参赛队伍，并获得了 5.2％的 F1 增益。

    Oct, 2018

  • 零样本跨语言语义解析

    本文提出一种多任务编码 - 解码模型，通过多语言领域内语料库和英文 - 逻辑形式对标数据，在没有平行语料的情况下完成跨语言的语义解析，模型加强了语言无关编码，显著优于传统基于翻译的算法，有时能与有监督模型的上线媲美。

    Apr, 2021

  • 在多语言 BERT 中发现通用语法关系

    本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

    May, 2020

  • 最劣情况感知自动课程学习下的零样本依存句法分析

    本研究采用来自多任务学习的自动课程学习方法，旨在动态优化对于语法分析模型下游任务的性能，从而实现在低资源语言中的零样本情况下的跨语言迁移，表明这种方法比均匀和大小成比例采样更好。

    Mar, 2022

  • 基于 MRC 的跨度预测依存句法分析

    本文提出了一种新的依存句法分析方法，旨在通过模拟子树与子树之间的关系，解决依存树中边的构造应该在文本跨度 / 子树级别而不是词级别上的问题。

    May, 2021

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 通过句子简化改进零样本事件提取

    本文提出一种通用方法，在 MRC 模型的指导下执行无监督的句子简化，以改善 MRC-based 事件提取的性能，并在 ICEWS 地缘政治事件提取数据集上进行评估，特别关注 'Actor' 和 'Target' 参数角色，结果显示上下文简化可以提高演员提取 5% 以上和目标提取 10% 以上的性能。

    Apr, 2022