KeyGen2Vec: 通过多标签关键词生成在问答中学习文档嵌入

Oct, 2023

KeyGen2Vec: 通过多标签关键词生成在问答中学习文档嵌入

KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering

Iftitahu Ni'mah, Samaneh Khoshrou, Vlado Menkovski, Mykola Pechenizkiy

TL;DR我们的研究旨在通过使用序列到序列（Seq2Seq）文本生成器学习文档嵌入，以减少对标签监督的依赖，并将关键短语生成任务重新形式化为基于社区的问答（cQA）中的多标签关键词生成。实证结果显示，相对于多标签关键词分类器，KeyGen2Vec 在纯度、归一化互信息（NMI）和 F1 值指标上的整体优势高达 14.7％。有趣的是，尽管在评估数据集中，通过标签监督学习嵌入的绝对优势普遍是高度正面的，但在 Yahoo！cQA 上，使用大量潜在主题标签的分类器中，KeyGen2Vec 在竞争上表现出色。

Abstract

Representing documents into high dimensional embedding space while preserving the structural similarity between document sources has been an ultimate goal for many works on text representation learning. Current embedding models, however, mainly rely on the availability of label supervi

document embeddings text representation learning unsupervised embeddings sequence-to-sequence keyword generation

发现论文，激发创造

Lbl2Vec: 面向预定义主题的无监督文档检索基于嵌入的方法

本文介绍了一种无监督方法，通过学习嵌入式文档和单词向量，从未标记的文档数据集中检索出预定义主题的文档，并可用于多类文档分类，使用 Lbl2Vec 工具可方便地复制此方法。

Oct, 2022

DocTag2Vec：一种基于嵌入的文档标记多标签学习方法

本文提出了一个名为 DocTag2Vec 的新方法，通过在学习过程中同时学习单词，文档和标签的向量表示，来实现文档标记。与之前的多标签学习方法不同，它直接处理原始文本，旨在提高标签表示的学习和处理新创建标签的能力，并在多个数据集上展示了良好的表现。

Jul, 2017

神经关键词生成的半监督学习

本篇论文探讨了如何利用半监督学习方法，在有限的有标签数据下，将无标签数据与有标签数据结合来提高关键短语生成的性能，实现多任务学习，通过无监督关键短语抽取方法或自学习算法得到的合成关键短语为无标签数据进行标注。实验结果表明，利用半监督学习的方法能够明显优于仅训练有标签数据的最先进模型。

Aug, 2018

查询建议的关键词嵌入

本文提出了两种新颖的模型来进行关键字建议任务，使用 Word2Vec 和 FastText 的架构，通过利用文档中的关键字共现来生成关键字嵌入向量，并采用特殊的负例抽样方法来利用关键字在学术出版物中的出现方式。此外，还提供了基于排名的评估方法，对所提出的模型进行评估，并在已知项目和自由搜索场景下显示了较大的性能改进。

Jan, 2023

Vec2Vec: 一种高保真度文本嵌入转换的紧凑神经网络方法

本研究提出了一个名为 Vec2Vec 的网络模型，它可以将开源的 768 维 MPNet 嵌入转换为 1,536 维的 text-ada-002 嵌入，其平均余弦相似度可达 0.932，并且可以用于以更低成本、更高效的方式进行搜索和数据隐私保护。

Jun, 2023

关键词检测和问题生成的神经模型

本文提出了一个两阶段的神经模型来解决从文档中生成问题的问题，第一阶段使用神经关键短语提取器来预测关键短语并作为目标答案，第二阶段使用序列到序列的问题生成模型带有复制机制生成问题，该模型优于标签基线和规则化的方法，是提高机器阅读系统或教育工作者的良好选择

Jun, 2017

使用句向量进行简单的无监督关键短语抽取

本文提出了一种新颖的无监督方法，即 EmbedRank，通过使用句子嵌入从单个文档中提取关键短语，进而在标准数据集上实现了比基于图的现有系统更高的 F-score，适用于实时处理大量 Web 数据，并通过引入基于嵌入的最大边际相关性来明确地增加所选关键短语的覆盖率和多样性，200 份投票的用户调查表明，我们的高多样性选择得到人类的接受。

Jan, 2018

Gram2Vec：一种可解释的文档向量化方法

介绍了 Gram2Vec，一种将文档嵌入到高维空间的语法风格嵌入算法。通过提取文本中存在的语法特征的标准化相对频率，Gram2Vec 提供了固有的可解释性。使用 Gram2Vec 向量的作者到文档的映射可视化，并演示了添加或删除特征以查看哪些作者做出了某些语言选择。然后，使用作者归属作为应用程序，展示了 Gram2Vec 如何解释为什么将文档归属于某个作者，通过计算 Gram2Vec 特征向量之间的余弦相似度来计算候选文档与查询文档之间的距离。

Jun, 2024

Vec2Sent: 用自然语言生成探究句子嵌入

使用生成模型从灰盒句子嵌入中检索离散句子作为一项新的非监督探测任务，并表明其与下游任务性能的相关性，同时展示不同编码器生成的语言存在差异。应用该方法从句子嵌入中生成句子类比。

Nov, 2020

多模式贝叶斯嵌入：学习社交知识图谱

本研究探讨在线社交网络与开放知识库之间的联系，提出一种基于多模态贝叶斯嵌入模型的算法 GenVector，通过学习潜在话题和生成单词和网络嵌入来将两种不同的数据形式，在共享潜在话题空间中表示。在三个数据集上的实验表明，该算法明显优于现有方法，并在 AMiner 上部署，显著降低了在线 A/B 测试中的错误率。

Aug, 2015