本文调查了利用人工智能聊天机器人 ChatGPT 通过自动化对抗仿冒邮件的骗子的可行性，并发现 ChatGPT 能够成功干扰骗子的活动，因此证明了利用 AI 是对抗网络威胁有效的工具。

Feb, 2023

本研究的主要目的是提供ChatGPT检测的最新技术的全面评估，同时我们评估了其他AI生成的文本检测工具，以检测ChatGPT生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测ChatGPT生成内容方面的性能。研究结果表明，现有方法都不能有效地检测ChatGPT生成的内容。

Apr, 2023

研究使用 ChatGPT 与 MTurker注释进行 HOT分类， 结果显示 ChatGPT 的准确率约为 80％，且分类方式比人工注释更一致，但其对“毒性”的分类大于对“仇恨”和“冒犯”的分类。研究结果对于使用生成式 AI 模型监管社交媒体上的大量用户生成内容具有重要意义。

Apr, 2023

本文探讨了聊天机器人从ELIZA到GPT-4的发展历程及其工作机制，分析了聊天机器人所面临的网络安全威胁和漏洞，阐述了聊天机器人对诸如恶意代码、网络钓鱼邮件、零日攻击和宏和LOLBIN的生成等网络安全问题所带来的风险和漏洞，进而探讨了应对这些威胁和漏洞的具体策略和措施。

May, 2023

本论文研究了生成AI模型的漏洞与潜在威胁，并讨论了社会、法律和伦理方面的影响，提出了防御技术和道德准则，并探讨了未来的研究方向。

Jul, 2023

利用启发式方法，本研究发现1,140个通过Twitter botnet使用ChatGPT生成人类风格内容的虚假个人的密集集群，并通过人工注释验证。ChatGPT生成的内容宣传可疑网站并传播有害评论。尽管AI botnet中的账户可以通过其协调模式检测到，但目前最先进的大语言模型内容分类器无法区分它们和真实用户账户。这些发现强调了AI助推社交机器人带来的威胁。

Jul, 2023

使用ChatGPT开发高级网络钓鱼攻击并自动化大规模部署的可能性。通过ChatGPT生成网络钓鱼攻击的各个部分，包括克隆目标网站、集成窃取凭证的代码、混淆代码、自动化网站部署、注册网络钓鱼域名并与反向代理集成。初步评估自动生成的网络钓鱼套件突出了其快速生成和部署过程，以及产生页面与目标网站的极高相似性。广泛来说，我们展示了人工智能的最新进展突显其在网络钓鱼攻击中被滥用的潜在风险，这可能导致网络钓鱼的普遍性和严重性不断增加。这凸显了在人工智能系统中加强对策的必要性。

Sep, 2023

ChatGPT的生成、解释和检测虚假新闻的能力进行了全面的探索，证明了其在生成高质量虚假新闻样本、解释虚假新闻特点和检测虚假新闻方面表现良好，但仍有改进的空间，并进一步研究了提升其检测能力的潜在额外信息。

Oct, 2023

利用大型语言模型进行自动化检测，发现现有的大型语言模型可以生成可信地伪造知名品牌的网络钓鱼邮件和网站，并且可以使用未修改的版本进行此类攻击。为了应对这一问题，建立了一个基于BERT的自动检测工具，可以在早期检测到恶意提示，以防止大型语言模型生成网络钓鱼内容，对于网络钓鱼网站提示可以达到97%的准确率，对于网络钓鱼邮件提示可以达到94%的准确率。

Oct, 2023

本论文通过提出AbuseGPT方法展示了现有生成式人工智能聊天机器人服务如何被攻击者利用在现实世界中创建短信网络钓鱼文本，最终导致更加狡猾的短信网络钓鱼活动，并探讨了一些未来的研究方向和指导方针来保护生成式人工智能服务的滥用以及保护用户免受短信网络钓鱼攻击。

Feb, 2024