ACLJun, 2019

学习压缩句子表示，用于设备端文本处理

PDF
TL;DR本文提出了四种连续和通用句子嵌入二值化方法，并评估了它们在多种下游任务中的表现，发现二值化句子嵌入相对于连续嵌入仅降低了约 2％的性能，同时减少了 98％的存储需求，而学习到的二进制表示形式可以通过简单计算其汉明距离来评估两个句子之间的语义相关性，这比计算连续嵌入之间的内积更加计算高效。
发现论文，激发创造
  • 词嵌入的几乎无损二值化

    本文提出一种基于自编码器的方法将实值的词向量转化为二进制向量，从而在减小空间占用的同时只损失了 2% 的精度。实验结果表明，使用这些二进制向量比使用实值向量快 30 倍。

    Mar, 2018

  • 深度学习中文本数据的向量表示

    本文研究了稠密分布式文本数据表示的两种新型神经模型：一种用于学习文档级表示，另一种用于学习词级表示。我们提出的模型分别在信息检索和语义关系识别等任务中优于现有方法，并且直接从原始文本数据中学习嵌入。其中，词级表示模型不同于以往的模型，可以用梯度下降算法进行训练。

    Jan, 2019

  • 二进制段落向量

    本文介绍了 Binary Paragraph Vector 模型，它是一种使用简单的神经网络生成高效信息检索的短二进制编码。我们发现，Binary Paragraph Vector 在使用更少的位数时优于自编码二进制编码，并在转移学习场景中评估它们的精度，结果表明，二元段向量可以捕获与各个特定领域相关的语义。最后，我们提出了一种同时学习短二进制码和长实数表示的模型，可用于在大型文档集合中快速检索高度相关的文档。

    Nov, 2016

  • 压缩词嵌入

    该论文研究了使用词向量空间中的哈希技术压缩向量表达的内部结构对嵌入式表示存储优化的影响，同时探讨了二元分解对于嵌入式表示的可解释性的提高。

    Nov, 2015

  • 深度组合编码学习压缩词向量

    该论文提出了一种使用少量基向量构建嵌入式编码、使用 Gumbel-softmax 技巧直接学习离散码表的自然语言处理模型压缩方法，并在情感分析和机器翻译任务中实现了 98% 的压缩率，从而达到在不影响性能的前提下减少内存占用的目的，该方法不需要改变网络结构且具有语言无关性。

    Nov, 2017

  • 高效纯卷积文本编码

    本文提出了一种轻量级的卷积神经网络结构，可用于创建句子的定长向量嵌入表示，可应用于构建自然语言处理系统，包括对话代理，经过优化的卷积神经网络架构可显著缩短学习时间，减少参数数量，提高自编码准确率，并通过 SentEval 基准套件评估所建模型所创建的表示，并表明这可以作为流行的词袋表示形式的更好的但资源要求较低的选择。

    Aug, 2018

  • 句子和文本的分布式表示

    提出了一种名为 “Paragraph Vector” 的无监督算法，用于从文本段落、句子和文档等长度可变的文本片段中学习固定长度的特征表示，该算法能够克服 Bag-of-words 模型的两个主要弱点，经实验证明，Paragraph Vectors 在文本分类和情感分析任务上取得了新的最佳表现。

    May, 2014

  • 用于改写和文本摘要的语义句子嵌入

    介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

    Sep, 2018

  • 最佳多语言文件嵌入是否只是基于句子嵌入？

    本研究系统地比较了使用 LASER、LaBSE 和 Sentence BERT 预训练的多语言模型从句子中生成文档级表示的方法，证明了对于多语言任务来说，通常使用句子嵌入的巧妙组合要优于将整个文档编码为单个单元，并且说明了虽然简单的句子平均值对于分类任务来说已经有一定的效果，但对于语义任务来说需要更复杂的组合。

    Apr, 2023

  • Skip-Thought 向量

    本研究提出了一种无监督学习的句子编码器，使用连续的文本数据训练编码器 - 解码器模型，并通过线性模型对其进行了 8 项任务的评估，结果表明该编码器具有高度泛化的句子表示能力，可在实践中发挥良好的效果。

    Jun, 2015