ICCVAug, 2023

基于扩散的图像标注及检索在文化遗产中的应用

PDF
TL;DR通过生成式视觉 - 语言模型来增强艺术品数据集，以应对文化遗产领域中有限的注释数据和领域偏移，提高模型对艺术特征的理解和生成恰当术语的能力。
cultural heritage applicationsadvanced machine learning modelsartificial intelligencegenerative vision-language modelsaugmentation strategy
发现论文，激发创造
  • 利用语言进行图像的语义增强

    通过利用生成的图像来增强现有数据集的技术，该论文探讨了各种有效的数据增强策略，以提高深度学习模型的跨域泛化能力。

    Apr, 2024

  • 应用扩散模型进行图像字幕的多模态数据增强

    本研究提出了一种基于多模态数据增强技术的图像字幕生成方法，旨在解决图像字幕对齐困难的问题。实验证明，本方法可以通过高质量生成图像 - 字幕对来扩充训练数据集，从而提高模型的训练效率和预测准确性。

    May, 2023

  • GPT-3 在文化遗产视觉问答中是否足够？

    本文提出了一种利用 GPT-3 为艺术品生成描述信息的方法，从而避免昂贵的图像标注过程，实现艺术品视觉问答性能的评估。

    Jul, 2022

  • 融合模型用于改进视觉字幕生成

    本文提出了一个通用的多模态模型融合框架，以及将预训练的辅助语言模型 (AuxLM) 和掩码语言模型 (MLM) 进行多模态融合，以改进生成的图像描述的质量和纠正其语法和语义错误。在三个基准数据集上的实验结果显示出了明显的改进。

    Oct, 2020

  • 自动扩展扩散的视觉数据集

    本研究介绍了一种基于自然语言描述的图像增广方法（ALIA），通过大规模视觉模型与语言模型的结合，自动生成域名描述，实现对样本数据的增广。该算法有效提高了训练数据的多样性，经过测试在细粒度和复杂分类中表现良好。

    May, 2023

  • 文化遗产艺术品的多模式元数据分配

    我们开发了一个多模态分类器，在文化遗产领域使用了一种后期融合的方法，并引入了一种新颖的数据集。

    Jun, 2024

  • 扩增模型与检索中的数据增强视角

    本文系统评估了扩散模型生成图像的现有方法，并研究了新的扩展方式以评估它们对数据增强的益处。作者发现，将扩散模型个性化到目标数据的方法优于简单的提示策略，但使用扩散模型的训练数据，通过简单的最近邻检索程序，直接提高下游性能。此项研究揭示了扩散模型在数据增强方面的局限性，同时也突显了其在生成新训练数据方面的潜力，以提高在简单的下游视觉任务中的性能。

    Apr, 2023

  • 扩散模型在有效数据增强中的应用

    通过使用图像转图像的方法、以及预训练的文本到图像扩散模型将其参数化，解决了数据扩增过程中具有高级语义标注的动物种类等属性缺乏多样性的问题，并在少样本情境和杂草识别任务中得到实际应用。

    Feb, 2023

  • 带有检索增强扩散模型的文本引导艺术图片生成

    通过检索增强的扩散模型，我们提出了一种替代性方法，改进了生成图像合成技术，优于基于文本提示的视觉样式规定。

    Jul, 2022

  • 使用文本 - 图像生成模型进行图像字幕的数据筛选

    通过数据修剪的两种方法改进图像字幕生成，一种假设应该避免一些样本，另一种假设通过替换图像，使用最先进的 Stable Diffusion 模型，这些方法在 BLIP 模型上 MS COCO 和 Flickr30 k 中进行了评估。我们的方法一直优于基准，说明可以通过修剪现有资源来训练更好的图像字幕模型。最后，我们进行了人类研究，以了解稳定扩散模型的错误并突出未来的文本到图像之旅。

    May, 2023