本文发现可以利用 ChatGPT 生成的恶意提示来生成钓鱼网站，并发现这些钓鱼网站可以模仿流行品牌并模拟几种逃避反钓鱼实体检测的策略，而无需使用先前的对抗性操作（越狱）。

May, 2023

利用大型语言模型进行自动化检测，发现现有的大型语言模型可以生成可信地伪造知名品牌的网络钓鱼邮件和网站，并且可以使用未修改的版本进行此类攻击。为了应对这一问题，建立了一个基于 BERT 的自动检测工具，可以在早期检测到恶意提示，以防止大型语言模型生成网络钓鱼内容，对于网络钓鱼网站提示可以达到 97% 的准确率，对于网络钓鱼邮件提示可以达到 94% 的准确率。

Oct, 2023

使用 ChatGPT 开发高级网络钓鱼攻击并自动化大规模部署的可能性。通过 ChatGPT 生成网络钓鱼攻击的各个部分，包括克隆目标网站、集成窃取凭证的代码、混淆代码、自动化网站部署、注册网络钓鱼域名并与反向代理集成。初步评估自动生成的网络钓鱼套件突出了其快速生成和部署过程，以及产生页面与目标网站的极高相似性。广泛来说，我们展示了人工智能的最新进展突显其在网络钓鱼攻击中被滥用的潜在风险，这可能导致网络钓鱼的普遍性和严重性不断增加。这凸显了在人工智能系统中加强对策的必要性。

Sep, 2023

本文调查了利用人工智能聊天机器人 ChatGPT 通过自动化对抗仿冒邮件的骗子的可行性，并发现 ChatGPT 能够成功干扰骗子的活动，因此证明了利用 AI 是对抗网络威胁有效的工具。

Feb, 2023

本论文研究了生成 AI 模型的漏洞与潜在威胁，并讨论了社会、法律和伦理方面的影响，提出了防御技术和道德准则，并探讨了未来的研究方向。

Jul, 2023

本研究探讨了使用大型语言模型（LLMs）生成针对性钓鱼信息以及它们与人工创作信息在性能上的比较的问题。实验对 GPT-4 和人工作者创作的、经过个性化定制的 smishing（短信钓鱼）信息的有效性进行了比较。目标评估了采用一种称为 TRAPD（阈值排序法）的新方法的信息，在该方法中，目标提供了个人信息（职位和地点、爱好、在线购买物品），人类和 GPT-4 根据这些信息创建了针对性的 smishing 信息，然后邀请目标重新对 12 个信息按照说服力的高低进行排序（并标识出他们会点击哪个信息），然后针对他们对信息排序的原因进行了提问。结果显示，25 名目标认为，LLM 生成的信息通常比人工创作的信息更具说服力，其中与职位相关的信息最具说服力。我们还对评估信息真实性使用的不同标准进行了描述，包括词汇选择、风格和个人相关性。结果还表明，目标无法确定信息是由人工生成还是由 AI 生成，并且在确定区分标准时存在困难。本研究旨在强调对个性化 AI 助力的社交工程攻击进行进一步研究和改进对策的紧迫性。

Jun, 2024

本文是关于机器生成文本和自然语言生成领域的综述。研究表明，机器生成文本与人类作者的文本越来越难以区分，因此我们讨论了现代自然语言生成系统带来的威胁模型，并对文本检测方法进行了最全面的综述。本文进一步讨论了机器生成文本的安全和社会背景，并提出了在未来工作中需要考虑的最关键威胁模型，以及确保检测系统本身通过公正、稳健和负责任的方式展示其信任性。

Oct, 2022

通过描述一个开放给公众使用的 AI 生成钓鱼邮件语料库，论文表明通过使用自动文本分析的机器学习工具，可以高准确率地识别基于 AI 生成的钓鱼邮件，并且 AI 生成的钓鱼邮件与常规钓鱼邮件不同，因此有必要在训练机器学习系统时使用 AI 生成的邮件，以防止由生成型 AI 支持的未来钓鱼攻击。

May, 2024

本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估，同时我们评估了其他 AI 生成的文本检测工具，以检测 ChatGPT 生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明，现有方法都不能有效地检测 ChatGPT 生成的内容。

Apr, 2023

本文旨在提供有关 ChatGPT 的安全风险的概述，包括恶意文本和代码生成、私人数据披露、诈骗服务、信息收集和生成不道德内容等。我们进行了一项实证研究，检验了 ChatGPT 内容过滤器的有效性，并探讨了绕过这些保护措施的潜在方式，展示了即使当有保护措施时，LLMs 仍存在的伦理和安全风险。基于对安全风险的定性分析，我们讨论了应对这些风险的潜在策略，并向研究人员、决策者和行业专业人员提供有关像 ChatGPT 这样的 LLMs 所面临的复杂安全挑战的信息。本研究对 LLMs 的伦理和安全影响的持续讨论做出了贡献，强调了在此领域需要继续进行研究的必要性。

May, 2023