ACLMar, 2017

使用组成性 n-Gram 特征进行句子嵌入的无监督学习

PDF
TL;DR本文介绍了一种简单但高效的无监督学习方法，用于训练分布式表示的句子嵌入。该方法在大多数基准任务中性能优于最先进的无监督模型，突显了所产生的通用句子嵌入的健壮性。
unsupervised learningword embeddingssentence embeddingsdistributed representationsbenchmark tasks
发现论文，激发创造
  • 句子嵌入的构成对比学习

    通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

    Jul, 2023

  • 从自然语言推理数据中监督学习通用句子表示

    本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示，相比于 SkipThought 等无监督方法，该方式在多种迁移学习任务中表现更优，因此表明自然语言推断适用于迁移学习。

    May, 2017

  • 评估句子嵌入中的组合性

    本文介绍了一个新的自然语言推理任务数据集，旨在解决人工智能中的句子组成意思的问题，使用深度神经网络学习语义向量表示法，得出发现表明 Inference 等现有句向量算法性能较差，但使用本文提供的数据集进行训练，可提高测试性能和提高人工智能系统的表现水平。

    Feb, 2018

  • 通过语义图平滑获得更具辨别性的句子嵌入

    通过语义图平滑，在经验上探索一种无监督学习更判别句子表示方法的方法。利用预训练模型得到的句子嵌入来提高文本聚类和分类任务的结果。经验证，我们的方法在八个基准测试中表现出一致的改进，展示了语义图平滑在改进句子嵌入用于监督和无监督的文档分类任务中的潜力。

    Feb, 2024

  • 无分割组合 $n$-gram 嵌入

    该研究提出了一种新型的表示学习方法，它无需依赖于词语分割和人工注释资源，能有效处理像中文和日文这样的非分割语言中的嘈杂语料库，方法的主要思想是彻底忽略词语边界，利用组合子 n-gram 的嵌入来构建原始语料库中所有字符 n-gram 的表示。

    Sep, 2018

  • 针对深度组合模型的语法感知多义词嵌入

    本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

    Aug, 2015

  • 最佳综合嵌入

    本文介绍一种基于词嵌入组合方法，该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示，适用于创建句子的表示，并学习不一定按序组织的词组的表示。我们理论上表征了这种表示存在的条件并推导了解决方案。我们在数据增强和句子分类任务中评估了该方法，研究了嵌入和组合方法的多种设计选择。我们展示了我们的方法在解决用于捕捉句子简单语言特征的探测任务方面的卓越效果。

    Jun, 2024

  • 通过大规模多任务学习学习通用分布式句子表示

    本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。

    Mar, 2018

  • 通过预测 N 元语法组合来学习文档嵌入，用于长篇电影评论的情感分类

    通过改进 Paragraph Vector 的架构，使其可以学习预测单词和 n-gram 特征的文档向量，捕捉了文档中的语义和单词顺序，从而在 IMDB 电影评论数据集上实现比其他模型更好的情感分类结果，同时保持了向量的表达能力。

    Dec, 2015

  • 通过组合操作实现可解释的句子表示学习，连接连续和离散空间

    本文提出了一种名为 InterSent 的语句嵌入方法，支持语句的组合操作，通过优化运算网络和瓶颈编解码模型，该方法在四项文本生成任务中显著提高了语句嵌入的可解释性和维持了传统语义相似性任务上的强大表现。

    May, 2023