生成预训练变形金刚用于生物启发式设计
利用自然语言生成技术，提出了一种新的方法来自动化早期设计概念的生成，其中涉及到设计思维、计算机辅助设计、预训练变压器和概念生成任务。实验结果显示，该方法在生成创新和有用概念方面表现良好。
Nov, 2022
提出了一种使用最新的预训练语言模型探索知识驱动设计生成的方法，具体通过改进的预训练变压器 fine-tuning 并结合美国专利数据库来实现。该方法不仅能使用简洁易懂的语言生成想法，而且能够以可控的知识距离将目标设计与外部知识来源进行综合综合。在滚动玩具设计的案例研究中测试了该方法，结果表明该方法在生成具有不同新颖性的想法方面表现良好，且具有近场和远场的知识来源。
Mar, 2022
本研究探讨了 AI 生成模型，特别是 OpenAI 的生成预训练变压器（GPT）系列，当与建筑信息建模（BIM）工具集成为交互式设计助手时的潜力。研究通过开发和实施三个关键组成部分来完成，最终验证了该方法的有效性。
Jun, 2023
本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。
Oct, 2022
通过自然界的生物学类比来解决工程挑战的生物启发式设计（BID）或仿生学是一种解决问题的方法，而 BARcode 是一个用于在网络上自动挖掘生物启发式设计的搜索引擎，能够识别潜在的工程挑战的启发源。
Dec, 2023
通过自动回归变换器大型语言模型 BioinspiredLLM，我们可以加速发现并指导研究，通过该模型可以提供信息回忆、协助研究任务和推动创造力等功能，同时它还能与其他生成式人工智能模型协作，重塑传统材料设计流程。
Sep, 2023
使用 GPT 技术提出了 ProcessGPT 作为增强数据中心和知识密集型流程决策的新技术，它可以通过使用深度学习和 NLP 来开发训练模型和生成流程来帮助提高流程管理效率，降低成本并支持业务运营的质量提升。
May, 2023
基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动工具在改变编码、问题解决等传统任务上起到的转变性影响进行了研究，同时开辟了在不同行业中进行研究和开发的新方向。从代码解释和图像描述到便于构建交互式系统和推动计算领域的发展，Transformer 模型展示了深度学习、数据分析和神经网络设计相结合的协同作用。本调查报告深入了解了 Transformer 模型的最新研究，突出了其多功能性和在实际应用领域中转型的潜力，从而为读者提供了对 Transformer-based LLMs 在当前和未来实际应用领域的全面理解。
Mar, 2024
本文介绍了一种统一且通用的生物医学生成式预训练转换器（BiomedGPT）模型，利用自监督方法在大量和多样化的数据集上进行训练，可接受多模式输入并执行多种下游任务，在 20 个公共数据集上表现优于先前绝大多数最先进模型，涵盖了 15 种独特的生物医学模式。通过实验展示了我们的多模式和多任务预训练方法将知识转移应用于先前未曾见过的数据的有效性。总的来说，本研究在开发生物医学统一通用模型方面迈出了重要的一步，对于改善医疗保健结果具有深远的影响。
May, 2023