ACLMay, 2020

树库嵌入向量用于领域外依存句法分析

PDF
TL;DR通过引入预测句子 treebank 向量的方法以及探索在测试时移离预定义的 treebank 嵌入向量并设计 tailored 的插值方法，本研究在 monolingual dependency parsing 领域对 treebank embedding vector 的进一步改进进行了研究，并表明插值向量优于预定义的向量，对于十种语言中的九种测试语言，可以预测 treebank 向量以匹配 oracle 方法的性能。
monolingual dependency parsingtreebank embedding vectortraining datatest timeinterpolations
发现论文，激发创造
  • 使用异构树库进行的解析器训练

    本文提出了一种基于树库嵌入的新方法，以改进现有多种树库的依存关系分析器，实验证明这种方法相比于现有的许多策略要好，可以大大提高自然语言处理中的性能

    May, 2018

  • 基于依存关系的卷积神经网络用于句子嵌入

    该研究提出了一种基于树的卷积神经网络模型，结合深度学习和语言结构，利用单词之间的各种长距离关系来提高情感分类和问题分类任务的准确性，并在 TREC 数据集上取得了最高的准确性。

    Jul, 2015

  • 贝叶斯段落向量

    本文提出了一种基于神经网络的段落向量的新解释，基于概率论的方法可以通过后验不确定性来在监督学习任务中提升性能，进一步提高了段落向量的研究应用。

    Nov, 2017

  • Skip-Thought 向量

    本研究提出了一种无监督学习的句子编码器，使用连续的文本数据训练编码器 - 解码器模型，并通过线性模型对其进行了 8 项任务的评估，结果表明该编码器具有高度泛化的句子表示能力，可在实践中发挥良好的效果。

    Jun, 2015

  • 使用段落向量进行文档嵌入

    本文针对段落向量的应用进行研究，评估其在文本相似度计算方面的性能，同时探究其向量操作在语义任务上的效果。通过对比潜在狄利克雷分布模型等其他文本建模算法，实验结果表明段落向量方法在性能上优于其他方法，并提出了改进模型提高嵌入质量的简单方法。

    Jul, 2015

  • Banach-Tarski 嵌入与变换器

    我们介绍了一种将任意递归数据结构嵌入到高维向量中的新构建方法，这些嵌入为变压器的潜在状态向量提供了可解释的模型。我们展示了当嵌入维度足够大时，这些嵌入可以解码为原始数据结构。这个解码算法在变压器中有一个自然的实现。我们还展示了这些嵌入向量可以直接操作底层数据执行计算而无需解码。例如，我们提出了一个算法，仅使用嵌入空间的向量操作构造嵌入的标记序列的嵌入句法树。

    Nov, 2023

  • 众多语言，一种解析器

    使用多语言模型进行依赖解析，通过使用多语言单词聚类和嵌入，令解析器能够在多种语言中进行有效解析，同时基于语言普遍规律和类型相似性实现跨语言推断，从而使其能够更有效地从有限的注释中进行学习。

    Feb, 2016

  • NMT 衍生的语言中介嵌入的实证分析及其在平行语句识别中的应用

    该研究系统研究了端到端的神经机器翻译的上下文向量作为句子的交互语言表征的功效，并在可比较语料库中取得了较高的平行句子识别准确率。

    Apr, 2017

  • 双语生成式 Transformer 用于语义句子嵌入

    本文提出了一种基于变分概率框架的深度潜变量模型，使用双语数据，利用拥有共性的语义信息与特性进行训练，使模型可以将并行语句进行源分离，得到隐含的语义向量，进而对单语数据进行预测。实验证明，该方法在无监督语义相似性评估方面的表现明显优于现有方法，并且还能在不适合使用简单词语重叠作为相似性指标的更难评估子集中发挥最大的作用。

    Nov, 2019

  • 利用多类型树库进行深度多任务学习的解析

    本文提出了一种基于多任务学习的通用框架，将多类型树库结合起来，通过多级参数共享提高依存解析模型的性能，实验表明该方法可以有效地利用任意源树库来提高目标解析模型的性能。

    Jun, 2016