GPT 应用初探:概况与脆弱性
这篇论文通过深入测量研究 GPT Store,重点关注 GPT 的分类、影响 GPT 流行度的因素以及潜在的安全风险,旨在提供 GPT Store 的当前状态的详细概述,揭示其运营动态和用户互动模式,为未来生成 AI 的研究、发展和政策制定提供宝贵的洞见。
May, 2024
我们的研究论文首次提出了针对与不受信任的定制大型语言模型(例如 GPTs)集成的应用程序的指令后门攻击,这些攻击通过设计带有后门指令的提示将后门嵌入到定制的语言模型中,并在输入包含预定义触发器时输出攻击者所需的结果。我们的研究结果强调了定制化语言模型(如 GPTs)的脆弱性和潜在风险。
Feb, 2024
研究论文对大型语言模型(LLMs)在系统安全领域中的影响和局限性进行了探讨,发现 ChatGPT 不仅在生成代码方面有出色的能力,还在理解用户提供的自然语言指令、推理程序的控制和数据流、生成复杂数据结构以及反汇编汇编代码等方面展示了强大的能力。研究表明,GPT-4 在大多数安全任务中相较于 GPT-3.5 有显著改进,同时也确定了 ChatGPT 在安全相关任务中的某些限制,例如处理长代码上下文的能力受限。
Dec, 2023
通过评估 OpenAI 的 GPT-4 等大型语言模型与传统的静态代码分析器(如 Snyk 和 Fortify)在检测软件漏洞方面的能力,我们发现 GPT-4 能够识别出大约四倍于其他模型的漏洞,并提供可行的修复方案,同时显示出较低的误报率。未来研究应当探索系统级漏洞,并整合多个静态代码分析器,以获得对大型语言模型潜力的全面视角。
Aug, 2023
这篇论文评估了 ChatGPT(GPT-3.5、GPT-4)对数字取证领域的影响和潜在影响,重点关注最新的预训练 LLM GPT-4,通过一系列实验评估了它在包括文物理解、证据搜索、代码生成、异常检测、事件响应和教育等多个数字取证应用场景中的能力,并总结了它的优势和风险。综合而言,尽管 ChatGPT 在数字取证领域存在一些潜在的低风险应用,但很多应用目前不适用,因为需要将证据上传至服务端,或者需要对所询问的话题具有足够的知识以识别错误的假设、不准确性和错误。然而,对于合适的知识用户而言,在某些情况下,它可以作为一个有用的辅助工具。
Jul, 2023
GPT (Generative Pre-trained Transformer) 是一种人工智能和自然语言处理技术,能够自动生成文本。本文主要研究了将 GPT 语言模型应用于大学教学的各个方面,包括学生和教师活动的创新、内容理解与生成、问题解决、个性化和试卷批改等。同时,作者还在软件工程等领域进行了详细实验,评估了 ChatGPT 作为助理工具在理论活动、习题和实验实践中的潜在应用价值。
Mar, 2024
本文对 ChatGPT 和 GPT-4 进行了综合调查,分析了其在各领域的潜在应用,发现 ChatGPT/GPT-4 主要应用于自然语言处理,并在教育、历史、数学、医学和物理等领域具有潜力。同时也提出了伦理问题和未来发展方向。
Apr, 2023
该论文探讨了将大型语言模型(如生成式预训练变换器 GPT)整合到人机合作环境中,通过口头人机交流手段促进可变自主性的快速发展的数字景观中,介绍了一种基于 Unity 虚拟现实(VR)环境的 GPT 驱动多机器人测试平台的创新框架。用户研究表明,用户对于与机器人对话的预设期望较高,却很少尝试探索机器人合作伙伴的实际语言和认知能力,但那些进行探索的用户能从更自然的沟通和人类式的双向交流中受益。我们提供了一组对未来研究和类似系统的技术实施的经验教训。
Dec, 2023
本文介绍 GPT-3 技术的历史发展、关键特性、机器学习模型和数据集,并讨论了其在各个领域中的应用,如人工智能聊天机器人、软件开发、创意工作、领域知识和商业生产力;同时探讨了 GPT-3 面临的挑战,如训练复杂性、偏见和幻觉 / 错误答案等,并讨论了未来的研究机会。
Dec, 2022
通过证明概念,利用 ChatGPT 作为代理并与受害者建立通信,该研究揭示了开放可用插件和大型语言模型存在的重要网络安全问题,需要开发安全指南、控制措施和缓解策略。
Aug, 2023