通过使用生成对抗网络 (GANs) 生成的具有人脸的推特用户作为样本，本研究系统分析了近期发展的生成人工智能 (AI) 在创建可信的假社交媒体账户方面的潜在问题。结果发现这些账户被用于传播欺诈、垃圾邮件以及增强协调的信息等虚假行为，并通过利用 GAN 生成的人脸中眼睛位置的特征以及人工注释的方法，对野外中的 GAN 生成的个人资料进行有效的识别。研究估计活跃推特用户中使用 GAN 生成的人脸的比例下限为 0.021% 至 0.044%，即每天约有 1 万个活跃账户。这些发现凸显了多模态生成 AI 所带来的新威胁。研究者公开了检测方法的源代码和收集到的数据以助于进一步调查，并提供实用启发法帮助社交媒体用户辨别此类账户。

Jan, 2024

基于人工智能图像生成的技术不断提升，产生更具逼真性且视觉缺陷较少的图像。这些图像被用于创建虚假在线账户，用于垃圾邮件、欺诈和虚假信息传播活动。本研究聚焦于区分真实的面部和基于人工智能生成的面部，以解决使用伪造用户头像的非真实在线账户检测问题。通过仅关注面部，我们展示了一种更具有弹性和通用性的工件，可以检测来自各种生成对抗网络和扩散基础合成引擎的人工智能生成面部，同时适用于多种图像分辨率（低至 128 x 128 像素）和质量。

Nov, 2023

本研究探究当前最先进的基于人工智能技术的视觉内容生成模型是否可以始终欺骗人类眼睛和传达错误信息，并通过高质量的定量研究揭示，人类不能在很大程度上区分真实的照片和人工智能创造的虚假照片。

Apr, 2023

本研究利用先进的自然语言处理技术来区分真实和人工智能生成的文本，以解决检测 DeepFake 推文的挑战。通过使用 TweepFake 数据集来训练和评估不同的机器学习模型，旨在识别有效的策略，从而提高数字通信的完整性，通过开发可靠的方法来检测人工智能生成的虚假信息，本研究对于构建一个更可信赖的在线信息环境做出了贡献。

Jun, 2024

AI 生成的媒体对我们所知的数字社会构成威胁。与技术进步相比，人们对生成媒体的感知尚未得到彻底研究。本文通过针对音频、图像和文本媒体跨三个国家（美国、德国和中国）的 3,002 位参与者进行全面的调查，结果显示，最先进的赝品几乎无法与 “真实” 媒体区分，大多数参与者在被要求评价时只是猜测它们是人工生成的还是机器生成的。此外，AI 生成的媒体在所有媒体类型和所有国家中更容易被误认为是人类产生的。为了进一步了解影响人们对生成媒体检测能力的因素，本文根据对 deepfake 和虚假新闻研究领域的文献综述，包括个人变量。通过回归分析，我们发现广义信任、认知反思和自报熟悉程度等个人变量显著影响参与者在所有媒体类别中的决策。

Dec, 2023

该研究收集了以 GPT-2 为代表的各种文本生成技术生成的推特信息，形成了 TweepFake 数据集，进一步通过评估 13 种深度伪造文本检测方法提供了针对社交媒体信息的深度伪造检测的基础。

Jul, 2020

利用启发式方法，本研究发现 1,140 个通过 Twitter botnet 使用 ChatGPT 生成人类风格内容的虚假个人的密集集群，并通过人工注释验证。ChatGPT 生成的内容宣传可疑网站并传播有害评论。尽管 AI botnet 中的账户可以通过其协调模式检测到，但目前最先进的大语言模型内容分类器无法区分它们和真实用户账户。这些发现强调了 AI 助推社交机器人带来的威胁。

Jul, 2023

本文提出一种使用风格学特征来辅助检测 AI 生成的推文的新算法，探讨利用预训练语言模型生成相似于人类撰写的文本的潜在威胁；针对推文信息量小的特点，提出两个任务：区分人工和 AI 生成的推文，以及检测 AI 何时在 Twitter 时间线上开始生成推文；实验证明风格学特征对于 AI 生成推文检测器具有有效的辅助作用。

Mar, 2023

这项研究分析了由三种流行的生成人工智能工具生成的图像 - Midjourney、Stable Diffusion 和 DALLE 2 - 代表各种职业，以调查 AI 生成器中潜在的偏见。我们的分析揭示了这些 AI 生成器中两个主要关注领域，包括（1）系统性的性别和种族偏见，以及（2）面部表情和外貌方面的微妙偏见。

Mar, 2024

利用机器学习技术来区分 AI 生成的合成图像和真实图像，通过优化深度学习模型和对比实验结果表明，深度学习模型可以更准确地识别合成图像，进一步推动数字媒体可信度及 AI 生成内容的伦理和技术探索。

Jan, 2024