生成式预训练变形器的输出转化: PGI 框架对注意力动态的影响
使用 GPT 技术提出了 ProcessGPT 作为增强数据中心和知识密集型流程决策的新技术,它可以通过使用深度学习和 NLP 来开发训练模型和生成流程来帮助提高流程管理效率,降低成本并支持业务运营的质量提升。
May, 2023
本论文介绍了一种基于视觉提示学习的模型适应方法,提出了 Prompt Generation Network (PGN) 网络,通过从端到端学习的词汇表中采样生成高性能、与输入相关的提示,从而使得预先训练的模型更适应不同的数据集。实验表明,PGN 在 12 个数据集上均优于以前的方法,并且在 5 个数据集上甚至优于全微调,而只需要 100 倍以下的参数。
Oct, 2022
大型语言模型与 transformer 架构已经彻底改变了文本生成领域,打破了前所未有的基准。尽管它们具有令人印象深刻的能力,但一直受到批评,因为它们生成的结果可能与事实不符或展示出逻辑上的不一致,这种现象通常被称为幻觉。然而,本文定义幻觉为 “注意力误导”,而非真正的幻觉,与教师期望的结果不一致并不代表是幻觉。理解幻觉与注意力误导的区别在商业环境中越来越重要,因为这些错误可能严重影响利用这些基本预训练模型来提取价值。本文强调了 PGI(个人、群体、智能)方法的最佳实践,该战略框架在面对真实业务挑战时,通过 GPT 生成的 4,000 个响应中仅有 3.15% 的错误率。它强调通过为实验提供知识,企业可以通过使用这些预训练模型探索创新的机会。这证实了通过熟练的团队落地战略应用可以最大化大型语言模型等新兴技术的好处。
Feb, 2024
本研究探讨了 AI 生成模型,特别是 OpenAI 的生成预训练变压器(GPT)系列,当与建筑信息建模(BIM)工具集成为交互式设计助手时的潜力。研究通过开发和实施三个关键组成部分来完成,最终验证了该方法的有效性。
Jun, 2023
利用自然语言生成技术,提出了一种新的方法来自动化早期设计概念的生成,其中涉及到设计思维、计算机辅助设计、预训练变压器和概念生成任务。实验结果显示,该方法在生成创新和有用概念方面表现良好。
Nov, 2022
本篇论文介绍了一种创新方法,PCGPT 框架,该方法利用离线强化学习和 Transformer 网络进行程序化内容生成(PCG)。PCGPT 利用基于 Transformer 的自回归模型迭代生成游戏关卡,解决了传统 PCG 方法中重复、可预测或不一致的内容的挑战。该框架模拟动作、状态和奖励的轨迹,利用 Transformer 的自注意机制捕捉时间依赖性和因果关系。该方法在 Sokoban 益智游戏中进行了评估,模型预测了所需物品及其对应位置。Sokoban 游戏的实验结果表明,PCGPT 生成了更复杂和多样化的游戏内容。有趣的是,与现有方法相比,PCGPT 在显著较少的步骤中实现了这些结果,展示了其增强游戏设计和在线内容生成的潜力。我们的模型代表了一种超越以往方法的新的 PCG 范例。
Oct, 2023
本研究调查了生成式人工智能技术(特别是 ChatGPT 等生成式预训练变形器模型)对网络安全的影响,并提出了针对大学的课程改革的建议,以满足行业不断发展的需求。我们的研究强调了理解生成式人工智能的 “心智模型” 与人类认知之间的对齐的重要性,以及根据布卢姆分类对生成式人工智能能力进行人类技能提升。通过分析当前教育实践、课程与行业需求的对齐,我们得出了一个结论,即提供网络安全等实践性学位的大学应密切与行业需求对齐,并接受不可避免的生成式人工智能革命,同时应用严格的伦理监督以确保负责任地使用生成式人工智能。我们提出了一系列关于更新大学课程、促进大学的灵活性、促进学术界、行业和决策者之间的合作以及评估和评价教育成果的建议。
Mar, 2024
本研究提出了基于预训练语言模型的生成式设计方法,利用人工智能技术自动检索和映射生物类比,并生成自然语言体现的生物仿生设计概念。通过精细调整三种类型的设计概念生成器和机器评估器,本方法成功应用于实现轻量化飞行汽车方案的生成,并取得了良好的性能表现。
Mar, 2022
GPT (Generative Pre-trained Transformer) 是一种人工智能和自然语言处理技术,能够自动生成文本。本文主要研究了将 GPT 语言模型应用于大学教学的各个方面,包括学生和教师活动的创新、内容理解与生成、问题解决、个性化和试卷批改等。同时,作者还在软件工程等领域进行了详细实验,评估了 ChatGPT 作为助理工具在理论活动、习题和实验实践中的潜在应用价值。
Mar, 2024
本研究探讨了传统网络安全意识培训计划的局限性,并提出了一种创新解决方案,使用生成型预训练转换器 (GPT) 来解决这些问题。该研究将 GPT 模型与自然语言处理能力相结合,根据个体培训者的个人资料个性化定制培训模块,从而提供高度个性化和动态的网络安全学习体验。通过使用 GPT 模型提供实时和自适应的网络安全意识培训内容,实验证明了与传统计划相比,在引发兴趣、动态性和相关性等方面都取得了显著改善。GPT 强化的网络安全意识培训计划为提升网络安全意识提供了可扩展且有效的解决方案,为个体在组织内的特定角色中更好地应对网络安全风险提供了个性化的培训内容。
May, 2024