无监督组合式表示的评估

COLINGJun, 2018

Evaluation of Unsupervised Compositional Representations

Hanan Aldarmaki, Mona Diab

TL;DR该研究评估了各种组合模型在几个外部监督和非监督评估基准上的表现，结果确认了加权向量平均法在大多数基准测试中可以胜过上下文敏感模型，但 RNN 模型中编码的结构特征在某些分类任务中也可以有用。同时分析了一些评估数据集以确定它们所测量的意义方面以及解释了各种模型性能差异的特性。

Abstract

We evaluated various compositional models, from bag-of-words representations to compositional RNN-based models, on several extrinsic supervised and unsupervised evaluation benchmarks. Our results confirm that weighted vector averaging can outperform context-sensitive models in most ben

compositional models weighted vector averaging rnn models evaluation datasets performance variance

发现论文，激发创造

在张量组合设置中评估神经词表示

在多项组合任务中，我们提供一项神经词表示和基于共现计数的传统向量空间之间的比较研究。在三个不同的语义空间中，我们实现了七个基于张量的组合模型，并在涉及动词消歧和句子相似性的任务中进行测试。在大规模任务中，神经词嵌入表现优越，表现稳定。

Aug, 2014

单词不平等：适用于构建组合文档向量的分级加权模型

研究使用基于加权单词向量的模型，并使用多种分类器进行集成，以在影评数据集上提高 1.6％的性能，并在 Amazon 产品评论中提高 7.01％的性能，其中 tf-idf 等方法可以显着提高先前技术水平。

Dec, 2015

评估句向量表示中的组成

文章介绍了一种可以精确和控制地针对句向量中的组合含义信息的方法，利用一个专门的句子生成系统，创建遵循特定句法、语义和词汇约束条件的带注释的大型句子集。实验表明，这种方法能够从多种现有的句子表示模型中提取有用的信息，有助于理解这些系统对句子信息的捕获能力。

Sep, 2018

评估表示学习中的组合性

描述了一种评估向量空间和离散码等机器学习输入表示中组成结构程度的程序，并使用这种程序探索了这种组成结构与学习动态、人类判断、表示相似性和泛化之间的关系。

Feb, 2019

使用组成性 n-Gram 特征进行句子嵌入的无监督学习

本文介绍了一种简单但高效的无监督学习方法，用于训练分布式表示的句子嵌入。该方法在大多数基准任务中性能优于最先进的无监督模型，突显了所产生的通用句子嵌入的健壮性。

Mar, 2017

分析 NLI 模型的组合敏感性

本研究通过实验验证，发现多个最先进的 NLI 模型都过度依赖词汇而无法使用组合语义，因此提出了一种可分析自然语言例句中 NLI 模型组成特性的测试设置，并在已有数据集上测试，这种测试设置可以帮助模型更好地了解复杂的含义，并为模型的改进提供机会。

Nov, 2018

复述辅助的组合性模型

本文提出了用自动提取的近义例子替代手工注释进行组合模型训练的方法，同时开发了一种上下文感知的短语组成能力评分模型，实验结果表明这些方法可以用于提高机器翻译系统的翻译质量。

Jan, 2018

最佳综合嵌入

本文介绍一种基于词嵌入组合方法，该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示，适用于创建句子的表示，并学习不一定按序组织的词组的表示。我们理论上表征了这种表示存在的条件并推导了解决方案。我们在数据增强和句子分类任务中评估了该方法，研究了嵌入和组合方法的多种设计选择。我们展示了我们的方法在解决用于捕捉句子简单语言特征的探测任务方面的卓越效果。

Jun, 2024

针对深度组合模型的语法感知多义词嵌入

本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

Aug, 2015

句子嵌入的构成对比学习

通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

Jul, 2023