多方向联合优化功能特定词表示

ACLMay, 2020

Multidirectional Associative Optimization of Function-Specific Word Representations

Daniela Gerz, Ivan Vulić, Marek Rei, Roi Reichart, Anna Korhonen

TL;DR我们提出了一个用于学习关联性的神经框架，该框架可应用于主谓宾结构等词组的词向量空间的学习。结果表明，我们的模型在选择偏好和事件相似性等任务上均具有鲁棒性和多功能性，并减少了高达 95％的参数数量。

Abstract

We present a neural framework for learning associations between interrelated groups of words such as the ones found in Subject-Verb-Object (SVO) structures. Our model induces a joint function-specific word vector space, where vectors of e.g. plausible SVO compositions lie close togethe

neural framework association learning subject-verb-object structures selectional preference event similarity

发现论文，激发创造

在张量组合设置中评估神经词表示

在多项组合任务中，我们提供一项神经词表示和基于共现计数的传统向量空间之间的比较研究。在三个不同的语义空间中，我们实现了七个基于张量的组合模型，并在涉及动词消歧和句子相似性的任务中进行测试。在大规模任务中，神经词嵌入表现优越，表现稳定。

Aug, 2014

针对深度组合模型的语法感知多义词嵌入

本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

Aug, 2015

其部分之和”：利用自编码器联合学习单词和短语表示

论文介绍了一种新的模型，采用词共现统计信息来学习单词向量表示，同时利用平均单词向量表示法将不同长度的单词序列嵌入到一个共同的语义空间中，并说明了这种短语表示法对于自然语言处理中的许多任务可能是有用的。

Jun, 2015

将语义关系嵌入到词表示中

通过提取语料库中词汇的共现模式来实现无监督学习，学习不仅代表个体单词的表示，还明确捕捉代表单词间语义关联的词向量表示，并通过联合权重和二元分类器来描述单词间的语义关系，取得了普遍类比检测三个基准数据集中的显著性优势。

May, 2015

组合式分布式语义的多语言模型

通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

Apr, 2014

语义投影：从词嵌入中恢复多个不同物体特征的人类知识

该研究探讨了一种计算模型，即词嵌入模型，通过将词表示为多维空间中的向量，从词汇共现模式中学习来自语义记忆中的常见知识，并提出了语义投影的解决方案，以检验词嵌入模型是否能够恢复多种语义特征和对象属性的上下文依赖关系。

Feb, 2018

基于主题模型的多义词嵌入

该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示，并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。

Sep, 2019

企业用语的含义及其附近的其他事物

该研究使用分析模型从传统理论中探究自然语言处理系统的统计学习方法，并在此基础上导出了有关使用这些算法和共现数据的系统的见解，进一步揭示了 Word2Vec 算法的潜力和其中的偏差，同时分析了共现模型中的统计依赖密度，并且发现了分布假设的部分实现。

Apr, 2022

词语和短语的分布式表示及其组合性

本文介绍了连续 Skip-gram 模型的扩展方法，包括减少常见词的子采样、负采样优化、短语学习等，以提高单词向量的质量和训练速度，为解决单词顺序和习惯用语表示上的问题提供了简单的解决方法。

Oct, 2013

通过动态融合方法学习多模态词表示

本研究提出了三种新颖的动态融合方法，旨在根据不同类型的词动态地融合来自不同模式的语义表示，并在单模型和多模型情况下取得了优于现有方法的成果。

Jan, 2018