本文提出了一种基于 Transformer 和技术词信息的知识产权实体抽取方法，并结合 BERT 语言方法提供准确的词向量表示。该方法通过引入相对位置编码的 Transformer 编码器，可以从词向量序列中学习文本的深层语义信息，并实现实体标签预测，从而提高了实体识别的准确性。

Mar, 2022

PaECTER 是一个公开可用的、开源的、专门用于专利的文档级编码器。我们使用审查人员添加的引用信息对 BERT 进行微调，以生成专利文档的数值表示。PaECTER 在相似度任务中表现更好，优于专利领域中当前最先进的模型。PaECTER 从专利文本中生成的数值表示可用于分类、知识流程追踪或语义相似性搜索。对于发明家和专利审查员来说，语义相似性搜索在先前技术搜索的背景下尤为重要。PaECTER 在 Hugging Face 上可获得。

Feb, 2024

该研究使用了随机森林算法进行专利数据库中的发明家姓名消歧，通过生成特征集并将之映射到随机森林的算法上进行训练，采用 DBSCAN 算法对聚类进行扩展，经测试在 6.5 小时内成功对 1200 万个命名进行消歧并获得了比其他算法更好的表现。

Feb, 2016

本文使用词向量和深度学习技术研究专利分类的任务，并尝试使用不同的特征表示和基于专利文件不同部分的集成分类器。结果表明，与目前最先进的独立解决方案相比，分类器的集成架构显著优于独立解决方案。

Mar, 2022

本文提出了各种自动检测方法来提取科学论文中的所谓被扭曲的短语。这些被扭曲的短语，例如信号噪声代替信号噪声，是为了逃避抄袭检测而使用的释义工具的结果。我们构建了一个数据集，并评估了几种策略来标记以前未记录的被扭曲的短语。所提出和测试的方法基于语言模型，要么基于嵌入相似性，要么基于掩码标记的预测。我们发现，使用标记预测的方法，并将评分传播到块级别可以获得最佳结果。具有 0.87 的召回值和 0.61 的精确值，它可以检索到要提交给领域专家验证的新的被扭曲的短语。

Feb, 2024

提出一种语义增强方法，该方法结合了不同的语言特征以识别和分类非结构化文本中的网络安全名称和概念，实验证明该方法有效。

Jul, 2022

本研究提出了一种基于 Tendency-and-Assignment Explainer (TAX) 的学习框架，旨在为深度神经网络的语义分割任务提供可解释性，特别是在多标注者环境下。通过学习卷积核子集来建模每种类型注释的标注趋势，然后联合观察原型库，来提供可视化指导。通过综合评估合成数据集和真实世界数据集，发现 TAX 可以适用于现有的先进网络结构，并提供相应的分割可解释性。

Feb, 2023

本研究运用 BERT、GPT-2 和 RoBERTa 等 6 种转换器以及 21 万份法律诉讼专业化训练模型，通过将文件预处理十分相似的信息转化为向量、使用无监督学习方法聚类控制进行法律领域的词语判定，体现出转换器模型的优点。在这其中，RoBERTa 模型得到了进一步发展，成为了本研究的重要部分。

Apr, 2022

本研究应用基于 Transformer 的预训练语言模型 BERT 探究了本地出版数据库中的科研话题，并通过计算文章相似度对研究人员进行了聚类，引入了作者自相似概念以表示他们的主题变化。

Jun, 2023

本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

Jul, 2022