我们介绍了一种专门设计用于评估机器生成专利文本中两个不同任务的全面错误类型学，即声明到摘要的生成以及给定前面声明的生成下一个声明。我们还开发了一个用于系统评估语言模型在此背景下的基准测试工具 PatentEval。此外，我们还对各种模型进行了人工标注的比较分析，这些模型从专门为专利领域内的任务而进行训练的模型到最新的通用大型语言模型（LLMs）。此外，我们还探索和评估了一些指标来近似专利文本评估中的人工判断，并分析这些指标在专家评估中的一致性程度。这些方法对当前语言模型在专利文本生成领域的能力和局限性提供了有价值的见解。

Jun, 2024

提出了一种简化的自动完成功能设计，通过该设计可以将自动完成效率提高 10% 以上，使自动完成效果超过 60%；通过双向训练与计算，在文本的任何位置都可进行双向自动完成，实验证明，同一文本的双向自动完成效果相似，可以提高人类编写专利文本的效率。

Sep, 2022

本文通过构建一个数据集，研究了当前大型语言模型在专利声明生成方面的表现。结果表明，基于专利描述生成声明的性能优于先前仅基于摘要的研究。与最先进的通用大型语言模型相比，当前专利特定的大型语言模型表现较差，强调了在该领域开展未来研究的必要性。此外，我们还发现大型语言模型能够产生高质量的首要独立声明，但是对于后续的从属声明，性能显著下降。此外，微调可以增强发明特征的完整性、概念清晰度和特征关联。在测试的大型语言模型中，GPT-4 在专利专家的综合人工评价中表现最佳，具有更好的特征覆盖率、概念清晰度和技术连贯性。尽管具备这些能力，仍需要进行全面的修订和修改，以通过严格的专利审查并确保法律的稳健性。

Jun, 2024

通过人类反馈学习强化学习模型，以提高生成专利权要求的语言模型被授予的可能性，并证明生成语言模型能够反映专利申请中的人类反馈或意图。

May, 2024

本研究旨在提出以专利权要求的自信息的倒数来衡量其范围。基于信息理论，该方法假设罕见的概念比通常的概念更具信息量，因为其更令人惊讶。自信息是根据该要求的出现概率计算的，而概率是根据语言模型计算的。本研究考虑了五种语言模型，从最简单的模型（每个词或字符来自均匀分布）到中级模型（使用平均词或字符频率），再到大型语言模型（GPT2）。有趣的是，最简单的语言模型将范围度量减少到词或字符计数的倒数，这是以前研究中已经使用的度量标准。应用于九个系列的专利权要求，这些要求针对不同的发明，其中每个系列的要求的范围逐渐减小。然后使用几个特定的指标评估了语言模型的性能。模型越复杂，结果越好。GPT2 模型优于基于词和字符频率的模型，而基于词和字符计数的模型又领先于基于词和字符计数的模型。

Sep, 2023

专利及技术知识管理中的先进语言处理和机器学习技术承诺大规模效率改进。本文系统概述了与专利相关的任务和流行的方法，并着重介绍了发展中和有前景的技术。该研究表明，语言处理和特别是大型语言模型以及最近普遍应用的生成方法有望成为专利领域的颠覆者。然而，专利领域存在一些技术困难，现有模型难以解决。通过指出关键进展、机会和差距，我们旨在鼓励进一步研究，加速该领域的发展。

Mar, 2024

应用大型语言模型在知识产权领域具有挑战性，本研究提出了一种低成本、标准化的过程来训练面向知识产权的语言模型，成功满足了该领域的需求，并证明了在知识产权领域中专门训练的模型的有效性。

Apr, 2024

在专利审查中，基于图像的检索系统对于识别当前专利图像与现有技术之间的相似性至关重要，以确保专利申请的新颖性和非显而易见性。我们提出了一种基于语言的、分布感知的多模态专利图像特征学习方法，通过集成大型语言模型，丰富专利图像的语义理解，并通过我们提出的分布感知对比损失来提高在代表性类别中的性能。在 DeepPatent2 数据集上进行的大量实验表明，我们提出的方法在基于图像的专利检索方面取得了最先进或可比较的性能，平均准确率提高了 53.3％，前 10 个检索结果的召回率提高了 41.8％，前 10 个检索结果的 MRR 提高了 51.9％。此外，通过深入用户分析，我们探索了我们的模型在帮助专利专业人员进行图像检索方面的作用，凸显了该模型的实际适用性和效果。

Apr, 2024

本文研究了使用 OpenAI GPT-2 预训练模型进行专利权描述生成的微调方法，并探索了专利权描述语言的独特结构和样式。通过提出一种新的采样方法，我们对生成的专利权描述进行了分析和总结，并提供了未来研究的各种实验结果。

Jul, 2019

本论文使用领先的 ChatGPT 技术对专利进行分析，以更准确地预测其价值和影响力，为初创企业和小型公司的知识产权政策提供了改革的机遇。

Jun, 2023