Feb, 2024

PaECTER: 利用引文信息的专利层面表示学习

PDF
TL;DRPaECTER 是一个公开可用的、开源的、专门用于专利的文档级编码器。我们使用审查人员添加的引用信息对 BERT 进行微调，以生成专利文档的数值表示。PaECTER 在相似度任务中表现更好，优于专利领域中当前最先进的模型。PaECTER 从专利文本中生成的数值表示可用于分类、知识流程追踪或语义相似性搜索。对于发明家和专利审查员来说，语义相似性搜索在先前技术搜索的背景下尤为重要。PaECTER 在 Hugging Face 上可获得。
paecterpatentsbert for patentssimilarity taskssemantic similarity search
发现论文，激发创造
  • SPECTER: 基于引文信息的 Transformer 文档级表征学习

    提出了一种新的方法 SPECTER 来基于引用图预训练 Transformer 语言模型以生成科学文件的文件级嵌入，在包括文献预测、文档分类和推荐等七种文档级任务上优于多种竞争基线。

    Apr, 2020

  • 专利相似性的嵌入模型比较分析

    该研究在文本专利相似性领域有两方面的贡献：首先，它比较了不同类型的专利特定预训练嵌入模型，包括静态词嵌入（如 word2vec 和 doc2vec 模型）和上下文词嵌入（如基于 transformers 的模型），在专利相似性计算任务上的性能；其次，它比较了 Sentence Transformers（SBERT）架构在专利相似性任务上不同训练阶段的性能。结果表明，该研究提出的专利 SBERT-adapt-ub，即预训练 Sentence Transformer 架构的领域自适应，优于当前专利相似性的最新技术水平。其次，研究结果显示，在某些情况下，大型静态模型在训练大量数据时仍可以与上下文模型相媲美；因此，我们认为上下文嵌入在性能上的优势可能与实际架构无关，而是与训练阶段的方式有关。

    Mar, 2024

  • 使用集成 BERT 相关模型和新型文本处理方法进行专利文档的语义相似性匹配

    本研究探讨专利文件分析中的语义相似性评估，介绍了一种集成方法和专利文件的文本预处理方法，重点解决了语言障碍和文档复杂性问题，并在美国专利短语匹配数据集上证明了其有效性。

    Jan, 2024

  • 一种基于 Transformer 和技术词信息的知识产权实体识别方法

    本文提出了一种基于 Transformer 和技术词信息的知识产权实体抽取方法，并结合 BERT 语言方法提供准确的词向量表示。该方法通过引入相对位置编码的 Transformer 编码器，可以从词向量序列中学习文本的深层语义信息，并实现实体标签预测，从而提高了实体识别的准确性。

    Mar, 2022

  • 利用上下文词嵌入改进专利化学命名实体识别

    本文探讨了 BiLSTM-CRF 模型在利用预训练的词嵌入、字符级和上下文化 ELMo 词表示在化学专利中的命名实体识别性能，并比较了医学和化学专利语料库上预训练的词嵌入对化学专利的影响。结果表明，使用基于 ELMo 的上下文词表示法可以大幅度提高在化学命名实体识别方面的表现。我们还表明，针对化学领域的资源（如在化学专利上训练的词嵌入和特定于化学的标记器）对 NER 性能有积极影响。

    Jul, 2019

  • 使用预训练 BERT 模型微调进行专利分类

    本文提出了一种基于预训练 BERT 模型微调的专利分类方法，使用专利权利要求单独进行分类，与使用 CNN 的词嵌入相比，性能优于现有方法，在 CPC 子类水平上提供了一个大型 USPTO-3M 数据集。

    May, 2019

  • 专利分析中句子嵌入模型表现的调查

    本研究旨在评估基于不同 NLP 嵌入模型的专利数据嵌入模型计算专利技术相似度的准确度，提出了一个评估嵌入模型准确度的标准库和数据集，研究结果表明 PatentSBERTa、Bert-for-patent 和 TF-IDF 加权词嵌入在子类别级别计算句子嵌入具有最好的精确度。

    Apr, 2022

  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 科学命名实体识别的分层 Transformer 模型

    使用 BERT 和 transformer 层的简单和有效的 Named Entity Recognition 方法在计算机科学和生物医学领域的三个基准数据集上优于当前最先进技术，无需外部资源或特定数据增强。

    Mar, 2022

  • 利用 Transformer 根据出版数据映射研究人员活动

    本研究应用基于 Transformer 的预训练语言模型 BERT 探究了本地出版数据库中的科研话题，并通过计算文章相似度对研究人员进行了聚类，引入了作者自相似概念以表示他们的主题变化。

    Jun, 2023