使用依赖句法分析在分布语义学中进行少样本学习
利用大型预处理语言模型作为少型语义解析器,将输入 paraphrase 成类似英语的控制子语言,通过很少的数据和代码快速批量生成语义解析器,表现出令人惊讶的有效性,远超过基线方法。
Apr, 2021
本文研究了向量空间模型在自然语言处理领域的一些应用,通过比较不同模型在 TOEFL 同义词检测中的效果,发现在计算分布相似度时,句法依赖可以更好地解释词汇语义,同时将人工语义知识注入到神经嵌入中可以显著提高同义词检测的效果。
Sep, 2022
本研究采用来自多任务学习的自动课程学习方法,旨在动态优化对于语法分析模型下游任务的性能,从而实现在低资源语言中的零样本情况下的跨语言迁移,表明这种方法比均匀和大小成比例采样更好。
Mar, 2022
通过人类的单次或少次学习的能力,本文借鉴启发式的思想,提出了一种简单的技术,使深度循环网络能够利用其先前的知识从少量数据中学习新单词的有用表示,使自然语言处理系统更加灵活。
Oct, 2017
本文提出一种使用无监督预训练的深度上下文嵌入的多语言转移方法,可以提高零样本和少样本学习的依赖解析的效果。实验结果表明,该方法在六种测试语言中持续优于之前的最新技术。
Feb, 2019
本论文研究了分布式语义模型与小样本数据的问题,并展示了如何使用神经语言模型 Word2Vec,通过以前学习语义空间的背景知识,仅对其标准体系结构进行微小修改,以从微小数据中学习新术语,并在单词定义任务和少量上下文的例子任务中,相较于最先进的模型,呈现出大幅增长的性能。
Jul, 2017
本篇论文研究了是否可以利用大规模多语言语料库(multilingual BERT)上预训练的现成双向深度句子表征,开发出一种无监督的通用句法分析器,以支持低资源语言的处理。实验结果表明,我们的方法在六种真正的低资源语言中均优于 CoNLL 2018 语言特定系统,但仍存在一些限制,如句法分析精度仍然随训练语言的变化而变化,并且在某些目标语言中,零 - shot 转移在所有测试条件下都无法成功,这引发了人们对整个方法的普适性问题的担忧。
Oct, 2019
本篇论文介绍了一种基于语言模型的 seq2seq 体系结构,重点介绍了少样本语义解析,并基于非注释数据引入联合训练、有约束的解码、自训练和重新表述这四种技术进行了自动方法来提高语义解析性能。结果表明,该方法在夜间数据集上提供了新的最优结果,并在新的语义解析数据集上提供了非常令人信服的少样本结果。
Apr, 2022
本文实现了第二阶段语义依赖解析器,使用平均场变分推理或循环置信传播算法来近似第二阶段解析,然后将两种算法展开成神经网络的递归层以进行端到端的训练,实验结果表明我们的方法实现了最新的最佳性能。
Jun, 2019
本文提出一种新的 O (n^3) 依赖语法分析算法,并开发了三种不同的随机化方式。我们提出了词汇亲和模型、意义标注模型和生成模型。通过在训练文本上评估三种模型的分析性能并给出了初步的实证结果,其中生成模型在分析性能上表现显著优于其他模型,并且在词性标注方面表现同样出色。
Jun, 1997