人工智能反向影响：生成式人工智能时代中数据污染的注意事项

May, 2024

人工智能反向影响：生成式人工智能时代中数据污染的注意事项

When AI Eats Itself: On the Caveats of Data Pollution in the Era of Generative AI

Xiaodan Xing, Fadong Shi, Jiahao Huang, Yinzhe Wu, Yang Nan...

TL;DR人工智能生成技术和大型模型产生了现实感十足的输出，但盲目使用合成数据可能导致模型性能下降和伦理问题，因此需要平衡使用真实数据和合成数据的方法来优化结果。这篇综述研究了在生成模型中盲目整合合成数据对图像和文本模态的训练的后果，并探索了缓解这些影响的策略，旨在提供合成数据使用的全面视角，倡导平衡方法并探索在大型模型时代促进生成式人工智能技术可持续发展的实践。

Abstract

Generative artificial intelligence (AI) technologies and large models are producing realistic outputs across various domains, such as images, text, speech, and music. Creating these advanced generative models requires significant resources, particularly large and high-quality datasets. To minimize training expenses, many algorithm developers use data created

generative ai synthetic data model performance ethical issues multimodal information

发现论文，激发创造

探究生成人工智能和互联网相互作用

本文研究探讨了生成 AI 技术中，AI 加入真实数据之后可能会产生回馈循环并导致未来模型的降级和多样性降低的情况，从而产生社会影响。同时，对于如何缓解这种回馈循环以及降低未来技术模型降级的影响也提出了相关问题。

Jun, 2023

人工智能生成的图像作为数据源：合成时代的黎明

通过利用生成人工智能（AI）产生的图像作为新的数据源，重新塑造了视觉智能中的传统模型范式，本文探讨了这一创新概念，从训练机器学习模型到模拟场景进行计算建模、测试和验证等一系列应用中探索了生成数据的潜力，并深入讨论了支持这种突破性使用生成 AI 的技术基础以及伴随的伦理、法律和实践考虑。

Oct, 2023

使用合成数据训练 AI 模型：可持续发展的机遇与风险

研究了合成数据的政策，包括创建、利用和传播。必须在保护隐私和数据的可用性之间找到平衡，并制定标准化准则来应对合成数据的挑战。

Aug, 2023

超越隐私：合成数据的机遇与挑战

本文探讨生成模型产生的合成数据可能成为机器学习领域的主导力量，可以创造更公平的数据、进行数据增强和模拟，尤其是在 ChatGPT 生成的文本方面。然而，在使用合成数据时，社区需要克服许多基本的挑战，其中最重要的是量化我们能够信任的查找或预测的程度。

Apr, 2023

自耗生成模型疯狂前进

该论文使用最先进的生成图像模型对三种不同类型的自噬循环进行了彻底的分析和实证研究，发现如果每个世代没有足够的新真实数据，未来的生成模型的质量或多样性将逐渐降低，这种情况被称为 ' 模型自噬障碍 '（MAD）。

Jul, 2023

人工智能中的合成数据：挑战、应用和伦理影响

在快速发展的人工智能领域中，合成数据集的创建和利用日益重要。此报告重点探讨了合成数据的多方面特点，尤其强调了这些数据集可能存在的挑战和潜在偏见。它探讨了合成数据生成的方法，涉及传统统计模型到先进深度学习技术，并研究了它们在不同领域的应用。此报告还批判性地讨论合成数据集涉及的道德考虑和法律影响，突出了确保公平性、减轻偏见和维护人工智能发展中的道德标准的机制的紧迫性。

Jan, 2024

亲戚训练的生成型人工智能模型崩溃

通过大量人工生成的内容进行训练，AI（人工智能）图像合成能够生成与其训练数据在视觉外观上相匹配的语义连贯的图像。我们展示了这些生成型 AI 模型在重新训练时即使只是重新训练少量自己生成的内容，也会产生高度畸变的图像。同时我们还展示了这种畸变不仅限于用于重新训练的文本提示，一旦受到毒害，这些模型在仅仅通过真实图像重新训练后依然难以完全恢复。

Nov, 2023

生成人工智能滥用方法分类及来自实际数据的洞见

通过对现有学术文献和大约 200 起滥用报告事件的定性分析，我们提出了一种基于深度学习和多模态人工智能的滥用策略分类方法，并揭示了滥用的关键模式、潜在动机和攻击者如何利用系统能力的方式。

Jun, 2024

语言模型生成的合成数据的最佳实践和经验教训

人工智能模型的成功依赖于大规模、多样化、高质量的数据集的可用性，而由于数据稀缺、隐私问题和高成本，获取这些数据集可能具有挑战性。合成数据作为一种有前景的解决方案出现，通过生成模仿真实世界模式的人工数据。本文提供了合成数据研究的概述，并讨论了其应用、挑战和未来方向。我们通过先前研究中的实证证据来展示其有效性，并强调确保其真实性、保真性和无偏性的重要性。我们强调了在使用合成数据构建更强大、包容性和可信赖的语言模型时的责任使用的需求。

Apr, 2024

网络影响操作中的合成图像生成：一种新兴威胁？

人工智能的发展催生了数字内容生成的转变，特别对网络影响操作产生了深远的影响。本文研究了扩散模型等生成深度学习模型在制造令人信服的合成图像方面的潜力和局限性，并对这些工具的可接近性、实用性和输出质量进行了批判性评估，同时分析了它们在欺骗、影响和颠覆威胁情景中的影响。在几个假设的网络影响操作中，本报告生成内容来展示这些 AI 驱动方法当前的能力和局限性。虽然生成模型擅长生成插图和非现实的图像，但创建令人信服的逼真照片内容仍面临重大挑战，受计算资源和必须人工指导改进的必要性限制。我们的探索强调了技术进步和其滥用潜力之间的微妙平衡，推动进行持续研究、防御机制、多学科合作和政策发展。这些建议旨在利用人工智能的潜力产生积极的影响，同时防范对信息完整性的风险，尤其是在网络影响的背景下。

Mar, 2024