本研究旨在构建专利领域的生成语言模型，并从人本主义的角度评估模型。通过计算根据生成模型预测可在自动完成上为用户省略的按键比例来评估模型性能。在此度量基础上，发现最大的模型不一定是最好的。在本研究中发布了多个基于专利语料库从头开始预训练的模型。此外，本文提出了专利法的几个法律含义，未来可能进行跨学科研究。特别地，基于模型预测的度量是否可用作专利法中的非明显性要求度量？

Jun, 2022

通过人类反馈学习强化学习模型，以提高生成专利权要求的语言模型被授予的可能性，并证明生成语言模型能够反映专利申请中的人类反馈或意图。

May, 2024

专利及技术知识管理中的先进语言处理和机器学习技术承诺大规模效率改进。本文系统概述了与专利相关的任务和流行的方法，并着重介绍了发展中和有前景的技术。该研究表明，语言处理和特别是大型语言模型以及最近普遍应用的生成方法有望成为专利领域的颠覆者。然而，专利领域存在一些技术困难，现有模型难以解决。通过指出关键进展、机会和差距，我们旨在鼓励进一步研究，加速该领域的发展。

Mar, 2024

本文通过构建一个数据集，研究了当前大型语言模型在专利声明生成方面的表现。结果表明，基于专利描述生成声明的性能优于先前仅基于摘要的研究。与最先进的通用大型语言模型相比，当前专利特定的大型语言模型表现较差，强调了在该领域开展未来研究的必要性。此外，我们还发现大型语言模型能够产生高质量的首要独立声明，但是对于后续的从属声明，性能显著下降。此外，微调可以增强发明特征的完整性、概念清晰度和特征关联。在测试的大型语言模型中，GPT-4 在专利专家的综合人工评价中表现最佳，具有更好的特征覆盖率、概念清晰度和技术连贯性。尽管具备这些能力，仍需要进行全面的修订和修改，以通过严格的专利审查并确保法律的稳健性。

Jun, 2024

通过提取自然语言的关键字，我们提出了一种无监督的文本自动完成方法，以权衡任务的效率、准确性和人类可读性，并呈现出在给定效率水平下比其他基线更准确的自动完成系统。

Nov, 2019

本文探讨了人工智能在移动设备上写作的两种用户界面设计，通过一个被监督的在线研究得出，无论是使用连续生成文本的方式还是建议写作的方式人工智能在撰写过程中都会影响文本创作，但两种设计存在差异，需要在用户体验和用户输出方面做出不同的选择。

Aug, 2022

本文探讨了语言模型预训练的双向性作为不同方法的关键因素，并提出了一个新的框架，能够控制双向上下文和双向注意力等两种表现形式。研究表明，最佳配置因应用而异，但大规模双向模型的作用值得探究。

May, 2022

本文研究了使用 OpenAI GPT-2 预训练模型进行专利权描述生成的微调方法，并探索了专利权描述语言的独特结构和样式。通过提出一种新的采样方法，我们对生成的专利权描述进行了分析和总结，并提供了未来研究的各种实验结果。

Jul, 2019

本研究论文提出了一个基于大规模语言模型、传统马尔可夫模型和字符级模型的端到端系统，以在严格的延迟限制下为 Intuit 金融专家提供个性化的句子 / 单词自动完成建议，旨在在一天内高效准确地书写复杂金融概念。该系统不仅高效和个性化，而且稳健，可以在几乎实时提供相关的自动完成功能，有效节省专家记录时间并提升与团队和客户的交流。同时，并进行了比较研究，此功能可在短时间内与任何具有书写功能的产品集成。

Aug, 2023

我们介绍了一种专门设计用于评估机器生成专利文本中两个不同任务的全面错误类型学，即声明到摘要的生成以及给定前面声明的生成下一个声明。我们还开发了一个用于系统评估语言模型在此背景下的基准测试工具 PatentEval。此外，我们还对各种模型进行了人工标注的比较分析，这些模型从专门为专利领域内的任务而进行训练的模型到最新的通用大型语言模型（LLMs）。此外，我们还探索和评估了一些指标来近似专利文本评估中的人工判断，并分析这些指标在专家评估中的一致性程度。这些方法对当前语言模型在专利文本生成领域的能力和局限性提供了有价值的见解。

Jun, 2024