ACLNov, 2018

跨语言转移中的排序差异困难：依存句法分析案例研究

PDF
TL;DR本文研究不同语言的词序，并假设一个与词序无关的模型将在转移到远程外语时表现更好。通过在英语语料库上训练依赖解析器，并在 30 种其他语言上评估它们的转移性能，我们比较基于递归神经网络（RNN）和修改的自我注意体系结构的编码器和解码器。严格的实验和详细的分析表明，基于 RNN 的架构在传输到接近英语的语言时表现良好，而自我注意的模型具有更好的整体跨语言可转移性并在远程语言上表现特别好。
发现论文，激发创造
  • 基于依赖关系的神经重排模型用于统计机器翻译

    本文介绍了一种新的重排序方法，利用神经网络和基于依存性的嵌入来预测两个源单词之间的依存关系，以确定翻译的单词顺序，实现了在中英翻译中统计显著的 0.57 BLEU 分数的提高。

    Feb, 2017

  • 通过子树感知词重排序来提高跨语言迁移

    使用依赖通用模式的强大重排序方法，能从少量的标注数据中学习到依赖语法上下文的精细词序模式，并在所有语法树的层级上应用，通过实验验证在零样本和少样本场景下相比强基准模型始终有优势。

    Oct, 2023

  • 使用后期解码技术实现跨语言依存解析在真正低资源语言中的应用

    本研究提出了一种基于图形的端到端神经网络依赖解析器，这种解析器可以训练为复制边缘得分矩阵，从而可以直接在单词对齐上进行投影，并取得了相较于之前的最新技术，在 10 种语言上的 2.25% 的绝对改善。

    Jan, 2017

  • 具有最少资源的神经跨语言命名实体识别

    提出了一种基于双语单词嵌入的翻译方法，以改善跨语言的 named-entity recognition 性能，并使用 self-attention 来提高鲁棒性。在对常见语言的测试中达到了最先进或具有竞争力的 NER 性能。

    Aug, 2018

  • 无标签辅助语言的跨语言依存句法分析

    本文中提出采用对抗性训练从辅助语言中提取无标注句子帮助学习跨语言不变表示，进而用于跨语言转移，通过实验证明，对抗性训练能有效提高依存句法分析的跨语言性能。

    Sep, 2019

  • 无监督源语言重排序的低资源句法迁移

    本文针对源语言和目标语言单词顺序的不同问题，提出了一种基于 “圣经” 语料库和跨语言词表示的依存句法跨语言迁移方法。该方法在训练前改变源语言语料的顺序，使得在欧洲语系以外的语言中达到更高的精度。在多语言数据集上，该方法在 68 个树库（38 种语言）的实验中表现良好，并在 12 种非欧洲语言的 16 个树库中实现了 3.3％的平均 UAS 绝对精度提高。

    Mar, 2019

  • 多语言递归神经网络中的跨语言句法转移理解

    研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的 LMs 与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。

    Mar, 2020

  • 使用合成自然语言变体研究 RNN 的归纳偏置

    研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。

    Mar, 2019

  • 针对极低资源语言的多语言神经机器翻译中的词序差异处理

    本研究针对神经机器翻译中的迁移学习方法展开研究，发现在源语言和目标语言间无或很少平行语料时，配合的语言与源语言词序差异会对迁移学习的效益产生负面影响。为了解决这种差异性，我们提出预先调整辅助语言句子的次序以便与源语言统一词序并对父级模型进行训练。实验表明，消除差异性对于提高翻译质量来说具有显著的改善作用。

    Nov, 2018

  • 使用双向递归神经网络引导多语言文本分析工具

    本文旨在研究对于资源贫乏的语言的快速语言注释工具的发展，我们采用递归神经网络模型实验了多种跨语言注释映射方法。我们提出了一种真正的多语言标记器方法，并通过使用平行语料库证实了其有效性和通用性。

    Sep, 2016