用于基于方面相似性的研究论文的专业文档嵌入

Mar, 2022

用于基于方面相似性的研究论文的专业文档嵌入

Specialized Document Embeddings for Aspect-based Similarity of Research Papers

Malte Ostendorff, Till Blume, Terry Ruas, Bela Gipp, Georg Rehm

TL;DR本文讨论了利用基于 aspect 的文本相似性测度进行科学论文推荐的问题，提出了将单一常规嵌入表示文档改为多个具有专业性的嵌入，并在 aspect 特异的嵌入空间中对其进行相似性度量的方案，有效地解决了现有方案中文档连贯性差的问题，并通过与现有方案的比较表明其优越性。

Abstract

document embeddings and similarity measures underpin content-based recommender systems, whereby a document is commonly represented as a single generic embedding. However, similarity computed on single vector repr

document embeddings similarity measures aspect-based similarity embedding spaces research paper recommendations

发现论文，激发创造

研究论文的基于方面的文档相似度

本研究介绍了一种基于方面信息的相似度扩展方法，使用 Transformer 模型和 LSTM 基线评估了 172,073 份论文的相似度，结果表明 SciBERT 是最有效的系统，这种基于方面信息的相似度扩展方法可以为文献推荐系统提供更高的粒度和准确度。

Oct, 2020

AspectCSE：利用对比学习与结构化知识的基于方面的语义文本相似性句子嵌入

本文提出了 AspectCSE，一种基于对比学习的以方面为基础的句子嵌入方法，并在多个方面的信息检索任务上实现了 3.97％的平均改进。同时，作者还提出使用 Wikidata 知识图谱属性来训练多方面的句子嵌入模型，并证明这种方法优于单方面的嵌入，同时该研究还探讨了基于方面的句子嵌入空间。

Jul, 2023

使用文本引导的多向量模型用于精细化科学文档相似性

通过匹配文本的精细细节，我们提出了一种新的科学文献相似性模型。我们利用多个论文引用的全文来训练我们的模型，提供了一种新形式的文本监督用于跨论文匹配，具有快速单次匹配和稀疏多次匹配两种方法，提高了在四个数据集上的相似性任务表现。

Nov, 2021

评估语义变化的句子嵌入模型的比较研究

分析语义变化的模式在长篇实际文本（如书籍或记录）中是有趣的，从文体、认知和语言的角度来看。这项研究也对应用领域，如文本分段、文档摘要和语义新颖性检测是有用的。本文通过时间序列的语义相似性以及多本文学作品的两两句子相似性矩阵比较了几种最近的句子嵌入方法。与以前使用目标任务和精心策划的数据集比较句子嵌入方法的研究不同，我们的方法提供了对方法在现实情境的评估。我们发现，大部分句子嵌入方法确实能够在给定文档中推断出高度相关的语义相似性模式，但也存在有趣的差异。

Aug, 2023

面向目标方面的情感分析感知嵌入

提出了一种新颖的方法来对目标区分，以便在 TABSA 中检测不同方面和情感极性，利用罕见分量向量调整目标和方面的嵌入来优化嵌入，从而优化了上下文相关信息。

Jun, 2019

专利分析中句子嵌入模型表现的调查

本研究旨在评估基于不同 NLP 嵌入模型的专利数据嵌入模型计算专利技术相似度的准确度，提出了一个评估嵌入模型准确度的标准库和数据集，研究结果表明 PatentSBERTa、Bert-for-patent 和 TF-IDF 加权词嵌入在子类别级别计算句子嵌入具有最好的精确度。

Apr, 2022

广义球面文本嵌入

本文提出了一种无监督建模方法，通过引入新的相似度度量和矩阵嵌入的优化问题，可以更加灵活地表示文本嵌入，并在文档分类、文档聚类和语义文本相似性基准测试等方面得到改进的结果。

Nov, 2022

最佳多语言文件嵌入是否只是基于句子嵌入？

本研究系统地比较了使用 LASER、LaBSE 和 Sentence BERT 预训练的多语言模型从句子中生成文档级表示的方法，证明了对于多语言任务来说，通常使用句子嵌入的巧妙组合要优于将整个文档编码为单个单元，并且说明了虽然简单的句子平均值对于分类任务来说已经有一定的效果，但对于语义任务来说需要更复杂的组合。

Apr, 2023

基于联合方面 - 情感主题嵌入的弱监督方面为基础的情感分析

本文提出了一种基于弱监督的方法进行情感分析，通过词嵌入空间下的 <情感，方面> 联合主题嵌入来实现预测，通过预训练分类器和自我训练来利用词级别的判别信息。

Oct, 2020

专利相似性的嵌入模型比较分析

该研究在文本专利相似性领域有两方面的贡献：首先，它比较了不同类型的专利特定预训练嵌入模型，包括静态词嵌入（如 word2vec 和 doc2vec 模型）和上下文词嵌入（如基于 transformers 的模型），在专利相似性计算任务上的性能；其次，它比较了 Sentence Transformers（SBERT）架构在专利相似性任务上不同训练阶段的性能。结果表明，该研究提出的专利 SBERT-adapt-ub，即预训练 Sentence Transformer 架构的领域自适应，优于当前专利相似性的最新技术水平。其次，研究结果显示，在某些情况下，大型静态模型在训练大量数据时仍可以与上下文模型相媲美；因此，我们认为上下文嵌入在性能上的优势可能与实际架构无关，而是与训练阶段的方式有关。

Mar, 2024