该论文介绍了一种新方法，利用建筑合同领域知识来增强大型语言模型，以模拟由人类专家进行的合同审查过程，该方法在真实建筑合同上取得了良好的性能。

Sep, 2023

在这篇论文中，我们使用了一种预先训练在商业文件集合上的语言模型 LayoutLM，并引入了两个新的预训练任务，进一步提高其提取相关信息的能力。第一个任务旨在更好地理解文档的复杂布局，第二个任务侧重于数字值及其数量级。通过这些任务，模型可以学习到更好上下文化的扫描文档表示。我们还引入了一种新的后处理算法，用于解码信息提取中的 BIESO 标签，对于复杂实体的处理效果更好。我们的方法显著提高了对公共数据集（从 93.88 提高到 95.50 F1 得分）和私有数据集（从 84.35 提高到 84.84 F1 得分）中的支出收据、发票和采购订单的提取性能。

Sep, 2023

基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动工具在改变编码、问题解决等传统任务上起到的转变性影响进行了研究，同时开辟了在不同行业中进行研究和开发的新方向。从代码解释和图像描述到便于构建交互式系统和推动计算领域的发展，Transformer 模型展示了深度学习、数据分析和神经网络设计相结合的协同作用。本调查报告深入了解了 Transformer 模型的最新研究，突出了其多功能性和在实际应用领域中转型的潜力，从而为读者提供了对 Transformer-based LLMs 在当前和未来实际应用领域的全面理解。

Mar, 2024

这项开创性的研究探讨了大型语言模型（LLMs）如生成式预训练变换器（GPT）和双向编码器表示来自变换器（BERT）在技术、金融、医疗保健、教育等各个领域的广泛应用。尽管它们在自然语言处理（NLP）方面已经展现出卓越的能力，但这些 LLMs 在健身、整体福祉、城市规划、气候建模以及灾害管理等领域尚未得到系统性的研究，本综述除了提供对 LLMs 在不同领域的广泛应用进行全面分析外，还揭示了 LLMs 潜力尚未被利用的研究空白和领域。这项研究发现了 LLMs 在健身福祉、城市规划、气候建模和灾害响应等领域留下印记的创新方式，可以激发未来在这些领域的研究和应用。

Feb, 2024

本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

May, 2023

本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

Nov, 2021

利用 Transformer 架构的大型语言模型在教育领域引起了广泛关注，主要应用包括生成和评估教育材料、自动问题生成等，其中 GTP-3 和 BERT 是最受欢迎的模型。

May, 2024

近年来，大型语言模型（LLMs）在各个领域取得了快速进展和令人印象深刻的能力。本文探讨了 LLMs 在建筑能效和碳减排研究中的应用、影响和潜力。文章考察了 LLMs 在建筑能源领域的广泛能力，包括智能控制系统、代码生成、数据基础设施、知识提取和教育。尽管 LLMs 具有很大的潜力，但仍存在复杂和昂贵的计算、数据隐私、安全和版权、精细调整 LLMs 的复杂性以及自一致性等挑战。文章最后呼吁未来的研究集中在增强 LLMs 的领域特定任务、多模式 LLMs 和人工智能与能源专家之间的合作研究上。

Dec, 2023

本论文展示了一个结合多个大型语言模型的智能代理系统，可自主设计、规划和执行科学实验，并通过三个不同的实例展示代理的科学研究能力，最为复杂的是成功执行加催化交叉偶联反应。最后，讨论了这种系统的安全影响，并提出了防止滥用的措施。

Apr, 2023

该研究创建了第一个意大利神经心理学命名实体识别数据集，PsyNIT，并使用它开发了用于此任务的大型语言模型。通过多中心模型实验，建立了方法论指导，未来还可为意大利医院提供重要的研究机会。

Jun, 2023