Jun, 2024

RU-AI：一个用于机器生成内容检测的大型多模态数据集

PDF
TL;DR介绍了 RU-AI 数据集，该数据集是一个大规模的多模态数据集，旨在鲁棒且高效地检测文本、图像和语音中的机器生成内容；提出了一个统一模型，该模型融合了多模态嵌入模块和多层感知器网络，能够有效确定数据的来源（即原始数据样本还是机器生成的数据）。
generative ai modelsmultimodal datasetmachine-generated contentdata reliabilityrobust methods
发现论文，激发创造
  • 检测大型 AI 模型生成的多媒体内容：一项调研

    通过系统的调查研究，我们填补了一个学术空白，为全球人工智能安全努力做出贡献，帮助确保数字领域中信息的完整性。

    Jan, 2024

  • AiGen-FoodReview：一个多模态的机器生成餐厅评论和社交媒体图片的数据集

    通过使用大规模语言模型和图像模型构建 AiGen-FoodReview 数据集，本论文提供了检测和识别机器生成的虚假评论的方法，该方法能在单模态和多模态情况下取得接近真实数据性能的可扩展并可解释的检测结果。

    Jan, 2024

  • 深度多模式图像重用检测

    提出了一个多模态学习模型，用于检测社交媒体上的图像改编，其中结合了从图像中提取的信息和知识库中相关信息，该方法在现有数据集和新数据集（MEIR）上都胜过现有技术，AUC 提升高达 0.23。

    Aug, 2018

  • 统一 IO 2：使用视觉、语言、音频和动作扩展自回归多模态模型

    我们提出了 Unified-IO 2，这是第一个能够理解和生成图像、文本、音频和动作的自回归多模态模型。通过将输入和输出（图像、文本、音频、动作和边界框等）进行分词，在共享语义空间中统一不同的模态，并使用单个编码器 - 解码器变换器模型进行处理。通过从多样化来源的大型多模态预训练语料库中使用多模态混合去噪目标对模型进行从头训练，我们提出了各种架构改进来稳定模型训练。为了学习广泛的技能，如遵循多模态指令，我们构建并在包含提示和增强的 120 个数据集的集合上进行微调。通过一个统一的模型，Unified-IO 2 在 GRIT 基准测试中实现了最先进的性能，并在超过 35 个基准测试中取得了强大的结果，包括图像生成和理解、自然语言理解、视频和音频理解以及机器人操控。我们将所有模型发布给研究社区。

    Dec, 2023

  • 多尺度正负样本检测 AI 生成文本

    本文针对大型语言模型可能用于生成虚假学术文本，虚假新闻，虚假推特等问题，提出了基于多尺度正 - 未标注训练的框架 (MPU) 来解决多尺度文本检测问题。实验表明 MPU 方法可以在长文本导向检测和短语料库检测方面显著提高检测性能。

    May, 2023

  • AU-AIR：低空交通监控多模式无人机数据集

    本文提出了一种多用途的多模态传感器航空数据集（AU-AIR）, 旨在弥合计算机视觉和机器人学之间的差距，并通过多种类型的记录数据进行真实环境的移动物体检测训练和测试，包括自带计算机的无人机。

    Jan, 2020

  • 检索增强的多模态语言建模

    提出了一种 “检索增强的多模态模型”，结合了预检索检索任务和预训练的模型，在图像生成和描述生成任务上实现了比以前模型更好的表现，同时大大降低了训练成本。

    Nov, 2022

  • 多模态体验启发的人工智能创作

    基于多模态信息的序列到序列架构和课程负采样策略被设计，以解决基于人类经验生成文本的新问题，并在新的多模态体验数据集上进行了广泛的实验，取得了较大的改进。

    Sep, 2022

  • 多模态数据集：厌女、色情和恶性刻板印象

    本文报道了一个规模为 400M 的过滤了不良内容的图像 - alt 文本数据集，该数据集在生成大规模机器学习模型时可能存在的问题和潜在涉及的利益攸关者（包括 AI 社区、监管机构、政策制定者和数据主体）的问题。

    Oct, 2021

  • 用于科学论文自动摘要的俄语多模态数据集

    该论文讨论了创建一个俄语科学论文的多模态数据集，并测试了现有的语言模型在自动文本摘要任务上的表现。该数据集的特点是其多模态数据，包括文本、表格和图形。论文介绍了使用 SBER 的 Gigachat 和 Yandex 的 YandexGPT 两个语言模型的实验结果。数据集包含 420 篇论文，可在此 https URL 上公开获取。

    May, 2024