Dec, 2015

通过预测 N 元语法组合来学习文档嵌入，用于长篇电影评论的情感分类

PDF
TL;DR通过改进 Paragraph Vector 的架构，使其可以学习预测单词和 n-gram 特征的文档向量，捕捉了文档中的语义和单词顺序，从而在 IMDB 电影评论数据集上实现比其他模型更好的情感分类结果，同时保持了向量的表达能力。
发现论文，激发创造
  • 使用段落向量进行文档嵌入

    本文针对段落向量的应用进行研究，评估其在文本相似度计算方面的性能，同时探究其向量操作在语义任务上的效果。通过对比潜在狄利克雷分布模型等其他文本建模算法，实验结果表明段落向量方法在性能上优于其他方法，并提出了改进模型提高嵌入质量的简单方法。

    Jul, 2015

  • 基于 N-gram 的文本低维度表示方法用于文档分类

    本文提出了一种使用 n-grams 的 BOW 模型，通过调用 Skip-gram 模型快速获得单词向量表示并将其平均以获得 n-grams 的表征，从而在低维度空间中为所有 n-grams 维护了相同的语义信息，使用 K-means 聚类将语义概念分组以大大减少特征数量，最终展示了在情感分类任务中胜过 LSA 和 LDA，与传统的 BOW 模型相比，具有更少的特征但类似的结果。

    Dec, 2014

  • 使用组成性 n-Gram 特征进行句子嵌入的无监督学习

    本文介绍了一种简单但高效的无监督学习方法，用于训练分布式表示的句子嵌入。该方法在大多数基准任务中性能优于最先进的无监督模型，突显了所产生的通用句子嵌入的健壮性。

    Mar, 2017

  • 基于词向量的中文评论情感分类实证研究

    本文介绍了如何在中文情感分类中使用单词嵌入作为特征，并建立了一个包含一百万个评论的中文意见语料库。通过使用不同的机器学习方法，包括支持向量机 (SVM)，逻辑回归 (Logistic Regression)，卷积神经网络 (CNN) 和集成方法，这些方法相对于使用朴素贝叶斯 (NB) 和最大熵 (ME) 的 n-gram 模型获得了更好的性能。最后，提出了一种组合机器学习方法，并在语料库上进行测试，最终的 F1 分数为 0.920。

    Nov, 2015

  • 句子和文本的分布式表示

    提出了一种名为 “Paragraph Vector” 的无监督算法，用于从文本段落、句子和文档等长度可变的文本片段中学习固定长度的特征表示，该算法能够克服 Bag-of-words 模型的两个主要弱点，经实验证明，Paragraph Vectors 在文本分类和情感分析任务上取得了新的最佳表现。

    May, 2014

  • 基于依存关系的卷积神经网络用于句子嵌入

    该研究提出了一种基于树的卷积神经网络模型，结合深度学习和语言结构，利用单词之间的各种长距离关系来提高情感分类和问题分类任务的准确性，并在 TREC 数据集上取得了最高的准确性。

    Jul, 2015

  • 大规模神经词嵌入中的顺序建模

    提出了一种新的神经语言模型，它不仅包含单词顺序，还包括字符顺序，并利用 skip-gram 网络实现了高效的并行训练，从而在语义和句法类比任务中取得了 85.8％的高分。

    Jun, 2015

  • 通过分离上下文 n 元信息来改进词向量嵌入

    训练单词嵌入与高阶 n-gram 嵌入同时可以帮助消除上下文信息，从而得到更好的单词嵌入。通过在各种任务上显着优于其他竞争性单词表示模型，我们实证了我们的假设的有效性。

    Apr, 2019

  • 贝叶斯段落向量

    本文提出了一种基于神经网络的段落向量的新解释，基于概率论的方法可以通过后验不确定性来在监督学习任务中提升性能，进一步提高了段落向量的研究应用。

    Nov, 2017

  • NewsEmbed: 预训练文档表示模型对新闻进行建模

    本文提出了一个新颖的方法，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签，并设计了一个多任务模型 - NewsEmbed，交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。

    Jun, 2021