Apr, 2023

静态模糊词袋：一种轻量级的句子嵌入算法

PDF
TL;DR该研究提出了一种名为 Static Fuzzy Bag-of-Word 模型的方法，可以在对计算资源的要求较低的情况下，为句子提供预定义维度的嵌入向量，并在语义文本相似性基准中表现出竞争性能。
embedding techniquesnatural language processingsentence embeddingsstatic fuzzy bag-of-word modelsemantic textual similarity
发现论文，激发创造
  • 使用子词袋来泛化字嵌入

    本文提出了一种基于子词级别的词向量生成模型来解决传统词向量模型无法应对未登录词、破音字等问题，并在英文词汇相似性任务和 23 种语言的词性标注和变形属性的联合预测任务中实现了最优表现。

    Sep, 2018

  • 利用预训练嵌入和句子袋高效灵活地主题建模

    本文提出了一种基于句子嵌入和生成过程模型相结合的话题建模和推断算法，使用期望最大化、硬分配和退火过程推导出快速推理算法。在评估中，我们的方法以相对较少的计算要求取得了最先进的结果。

    Feb, 2023

  • 句子和文本的分布式表示

    提出了一种名为 “Paragraph Vector” 的无监督算法，用于从文本段落、句子和文档等长度可变的文本片段中学习固定长度的特征表示，该算法能够克服 Bag-of-words 模型的两个主要弱点，经实验证明，Paragraph Vectors 在文本分类和情感分析任务上取得了新的最佳表现。

    May, 2014

  • 基于 N-gram 的文本低维度表示方法用于文档分类

    本文提出了一种使用 n-grams 的 BOW 模型，通过调用 Skip-gram 模型快速获得单词向量表示并将其平均以获得 n-grams 的表征，从而在低维度空间中为所有 n-grams 维护了相同的语义信息，使用 K-means 聚类将语义概念分组以大大减少特征数量，最终展示了在情感分类任务中胜过 LSA 和 LDA，与传统的 BOW 模型相比，具有更少的特征但类似的结果。

    Dec, 2014

  • 不要满足于平均水平，争取最大化：模糊集和最大池化词向量

    本文提出了一种基于模糊词袋 (FBoW) 表示的文本相似度计算方法，通过使用词向量相似度进行加权处理，动态提取和最大池化好的特征，它是一种完全无监督和非参数化的相似度计算方法，不但比当前基线方法优秀，而且在标准 STS 基准测试中，与直接优化余弦相似度的监督式词向量训练相竞争。

    Apr, 2019

  • 知识图谱嵌入的快速线性模型

    本文表明，基于词袋 (BoW) 的简单基线学习到出人意料的知识图谱嵌入。通过将知识库补全和问题回答转化为监督分类问题，我们观察到建模实体和关系的共现可以在几分钟的培训时间内获得最先进的性能，使用开源库 fastText。

    Oct, 2017

  • 利用上下文嵌入模型获得更好的静态词嵌入

    本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

    Jun, 2021

  • PBoS: 概率词袋子字形式用于推广词嵌入

    提出了一种概括单词嵌入的方法，称为 PBoS 模型，该模型基于单词的拼写，同时对子词划分建模和计算子词组合的单词嵌入，并在词汇相似性和词性标注实验中显示出较好的性能，不需要明确的形态学知识。

    Oct, 2020

  • 基于分布式词袋模型的多文档摘要

    本文提出了一种无监督基于质心的文档级重构框架，利用分布式词袋模型来选择摘要句以最小化摘要和文档之间的重构误差，并应用句子选择和波束搜索来进一步提高模型性能。针对两个不同的数据集实验结果表明，与现有基线相比，我们的模型表现出显著的性能提升。

    Oct, 2017

  • 无监督句子表示作为词语信息系列：重访 TF-IDF

    本文提出了一种利用加权词向量嵌入学习无标注句子表示的无监督方法，通过 TF-IDF 变换提供的 Shannon 词熵拟合词向量的权重，选择不同的超参得出短期训练、在线推理的句子表示，经过与 STS 系统的对比表明，该方法在语义文本相似度模型中的表现已达到最优。

    Oct, 2017