Jun, 2024
评估人工智能与人类创作的网络钓鱼短信攻击：一项使用TRAPD方法进行的实证研究
Assessing AI vs Human-Authored Spear Phishing SMS Attacks: An Empirical
Study Using the TRAPD Method
TL;DR本研究探讨了使用大型语言模型（LLMs）生成针对性钓鱼信息以及它们与人工创作信息在性能上的比较的问题。实验对GPT-4和人工作者创作的、经过个性化定制的smishing（短信钓鱼）信息的有效性进行了比较。目标评估了采用一种称为TRAPD（阈值排序法）的新方法的信息，在该方法中，目标提供了个人信息（职位和地点、爱好、在线购买物品），人类和GPT-4根据这些信息创建了针对性的smishing信息，然后邀请目标重新对12个信息按照说服力的高低进行排序（并标识出他们会点击哪个信息），然后针对他们对信息排序的原因进行了提问。结果显示，25名目标认为，LLM生成的信息通常比人工创作的信息更具说服力，其中与职位相关的信息最具说服力。我们还对评估信息真实性使用的不同标准进行了描述，包括词汇选择、风格和个人相关性。结果还表明，目标无法确定信息是由人工生成还是由AI生成，并且在确定区分标准时存在困难。本研究旨在强调对个性化AI助力的社交工程攻击进行进一步研究和改进对策的紧迫性。