ACLNov, 2016

二进制段落向量

PDF
TL;DR本文介绍了 Binary Paragraph Vector 模型，它是一种使用简单的神经网络生成高效信息检索的短二进制编码。我们发现，Binary Paragraph Vector 在使用更少的位数时优于自编码二进制编码，并在转移学习场景中评估它们的精度，结果表明，二元段向量可以捕获与各个特定领域相关的语义。最后，我们提出了一种同时学习短二进制码和长实数表示的模型，可用于在大型文档集合中快速检索高度相关的文档。
paragraph vectorbinary codeneural networktransfer learningdocument retrieval
发现论文，激发创造
  • 深度学习中文本数据的向量表示

    本文研究了稠密分布式文本数据表示的两种新型神经模型：一种用于学习文档级表示，另一种用于学习词级表示。我们提出的模型分别在信息检索和语义关系识别等任务中优于现有方法，并且直接从原始文本数据中学习嵌入。其中，词级表示模型不同于以往的模型，可以用梯度下降算法进行训练。

    Jan, 2019

  • 贝叶斯段落向量

    本文提出了一种基于神经网络的段落向量的新解释，基于概率论的方法可以通过后验不确定性来在监督学习任务中提升性能，进一步提高了段落向量的研究应用。

    Nov, 2017

  • 句子和文本的分布式表示

    提出了一种名为 “Paragraph Vector” 的无监督算法，用于从文本段落、句子和文档等长度可变的文本片段中学习固定长度的特征表示，该算法能够克服 Bag-of-words 模型的两个主要弱点，经实验证明，Paragraph Vectors 在文本分类和情感分析任务上取得了新的最佳表现。

    May, 2014

  • 使用段落向量进行文档嵌入

    本文针对段落向量的应用进行研究，评估其在文本相似度计算方面的性能，同时探究其向量操作在语义任务上的效果。通过对比潜在狄利克雷分布模型等其他文本建模算法，实验结果表明段落向量方法在性能上优于其他方法，并提出了改进模型提高嵌入质量的简单方法。

    Jul, 2015

  • 学习压缩句子表示，用于设备端文本处理

    本文提出了四种连续和通用句子嵌入二值化方法，并评估了它们在多种下游任务中的表现，发现二值化句子嵌入相对于连续嵌入仅降低了约 2％的性能，同时减少了 98％的存储需求，而学习到的二进制表示形式可以通过简单计算其汉明距离来评估两个句子之间的语义相关性，这比计算连续嵌入之间的内积更加计算高效。

    Jun, 2019

  • 用于改写和文本摘要的语义句子嵌入

    介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

    Sep, 2018

  • 词嵌入的几乎无损二值化

    本文提出一种基于自编码器的方法将实值的词向量转化为二进制向量，从而在减小空间占用的同时只损失了 2% 的精度。实验结果表明，使用这些二进制向量比使用实值向量快 30 倍。

    Mar, 2018

  • 使用段落向量提升印尼情感分析的 Bi-LSTM 性能

    本文提出结合使用 Bi-LSTM 和段落向量作为印尼情感分析的方法，解决了 Bi-LSTM 在序列处理中文本片段位置不影响情感分类的问题，并进行了多个案例研究来验证了该方法的实用性。

    Sep, 2020

  • 稀疏二进制超向量的认知建模与学习

    基于 VSA 理论框架，提出了一种使用稀疏二进制超向量的认知模型，并引入学习算法来从输入数据流中引导模型的训练，在有效性和透明度方面有了显著改进。该模型模拟人类认知过程，在会话中可以进行在线训练，并探索了在自然语言处理领域中利用这些超向量进行词级嵌入的进一步应用。

    Sep, 2023

  • 高效纯卷积文本编码

    本文提出了一种轻量级的卷积神经网络结构，可用于创建句子的定长向量嵌入表示，可应用于构建自然语言处理系统，包括对话代理，经过优化的卷积神经网络架构可显著缩短学习时间，减少参数数量，提高自编码准确率，并通过 SentEval 基准套件评估所建模型所创建的表示，并表明这可以作为流行的词袋表示形式的更好的但资源要求较低的选择。

    Aug, 2018