Sep, 2023

通过广义字幕和双重融合增强降低扩散模型中的复制和复制行为

PDF
TL;DR使用扩展语言模型和双重融合增强方法，本研究提出的方法可以显著减少扩散模型的复制行为，仅相比原始的扩散模型减少了 43.5%，同时保持了生成图像的多样性和质量。
diffusion modelsprivacy concernsgenerality scorelarge language modelreplication mitigation
发现论文，激发创造
  • 理解和减轻扩散模型中的复制现象

    分析了文本到图像扩散模型中的记忆问题，提出了减少训练和推理时间中数据复制的几种技术。

    May, 2023

  • 应用扩散模型进行图像字幕的多模态数据增强

    本研究提出了一种基于多模态数据增强技术的图像字幕生成方法，旨在解决图像字幕对齐困难的问题。实验证明，本方法可以通过高质量生成图像 - 字幕对来扩充训练数据集，从而提高模型的训练效率和预测准确性。

    May, 2023

  • 融合模型用于改进视觉字幕生成

    本文提出了一个通用的多模态模型融合框架，以及将预训练的辅助语言模型 (AuxLM) 和掩码语言模型 (MLM) 进行多模态融合，以改进生成的图像描述的质量和纠正其语法和语义错误。在三个基准数据集上的实验结果显示出了明显的改进。

    Oct, 2020

  • CapsFusion: 大规模重塑图像 - 文本数据

    为了提供更高质量和更可扩展的多模态预训练数据，我们提出了 CapsFusion，一种先进的框架，利用大型语言模型从基于网络的图像文本对和合成字幕中巩固和完善信息。大量实验证明，CapsFusion 字幕在模型性能（例如，COCO 和 NoCaps 上的 CIDEr 分数提高了 18.8％和 18.3％）、样本效率（比基准计算需求少 11-16 倍）、世界知识深度和可扩展性方面展示出卓越的全面优势。这种有效性、效率和可扩展性优势使 CapsFusion 成为未来大规模多模态模型训练的有希望的候选者。

    Oct, 2023

  • 使用文本 - 图像生成模型进行图像字幕的数据筛选

    通过数据修剪的两种方法改进图像字幕生成，一种假设应该避免一些样本，另一种假设通过替换图像，使用最先进的 Stable Diffusion 模型，这些方法在 BLIP 模型上 MS COCO 和 Flickr30 k 中进行了评估。我们的方法一直优于基准，说明可以通过修剪现有资源来训练更好的图像字幕模型。最后，我们进行了人类研究，以了解稳定扩散模型的错误并突出未来的文本到图像之旅。

    May, 2023

  • 一图胜千言：原则性重描述提升图像生成

    通过重新标注语料库并以此为基础训练文本到图像模型，可以显著提高模型的图像质量和语义对齐，并减少训练与推理之间的差异，增加样例效率，使模型更好地理解标题和图像之间的关系。

    Oct, 2023

  • 扩增模型与检索中的数据增强视角

    本文系统评估了扩散模型生成图像的现有方法，并研究了新的扩展方式以评估它们对数据增强的益处。作者发现，将扩散模型个性化到目标数据的方法优于简单的提示策略，但使用扩散模型的训练数据，通过简单的最近邻检索程序，直接提高下游性能。此项研究揭示了扩散模型在数据增强方面的局限性，同时也突显了其在生成新训练数据方面的潜力，以提高在简单的下游视觉任务中的性能。

    Apr, 2023

  • 通过图像字幕实现差分隐私表示学习

    在这项工作中，我们通过图像字幕和扩大到互联网规模的多模态数据集，通过一系列的工程技巧，成功地从头开始训练了一个差分隐私图像字幕生成器（DP-Cap），并获得了前所未有的高质量图像特征，可用于各种下游视觉和视觉语言任务。

    Mar, 2024

  • 探究实际场景下扩散模型的版权问题

    我们的研究通过对部分版权侵权进行探究，并使用与版权有很大差异的提示，解决了以往研究的局限性。我们开发了一个数据生成流程，为扩散模型中的版权研究创建数据集。使用我们的流程，我们创建了包含不同扩散模型中版权侵权样本的数据集，并在各种标准下进行评估。我们的结果显示，在一系列扩散模型中生成侵权内容的普遍性，包括最新的稳定扩散 XL 模型。

    Sep, 2023

  • 内存触发器：通过词级重复揭示文本到图像生成模型中的记忆化

    该研究聚焦于扩散模型中两种不同而未被充分研究的重复现象，即在扩散模型中的冗余复制，通过两个案例研究探讨了这些现象及其影响，旨在对生成模型在各种应用中进行更安全、更负责任的使用做出贡献。

    Dec, 2023