Jun, 2023

适应性和交互式图像字幕生成的研究：数据增强和情节记忆方向

PDF
TL;DR本文提出了一种交互式机器学习（IML）管道，用于图像字幕生成，其中使用简单的数据增强方法和持续学习方法来将用户输入逐步集成到训练过程中，通过实验发现应用分段记忆是保持先前聚类中知识的有效策略。
interactive machine learningimage captioningdata augmentationcontinual learningepisodic memory
发现论文，激发创造
  • 交互式机器学习：图像字幕生成

    本文提出了一种交互式学习的图像标题生成模型，该模型使用数据增强方法来扩大人类反馈所提供的有效学习信息，并智能地将其集成到模型中，本文重点讨论了其反馈收集、数据增强和模型更新三个关键组件的实现方法。

    Feb, 2022

  • 将人类放入图像字幕循环中

    通过人工反馈训练图像字幕模型，使其适应特定用户数据，并采用稀疏记忆重播组件避免灾难性遗忘，从而实现自定义图像字幕模型。

    Jun, 2023

  • 通过记忆模仿提升低资源文本分类和生成的元学习

    文章提出了一种记忆模仿元学习方法，利用任务特定的记忆模块存储支持集信息，并构建模仿模块来强制查询集模仿存储在内存中的某些代表性支持集样本的行为，以提高模型对支持集的利用，进而在文本分类和生成任务中取得了优异的性能。

    Mar, 2022

  • 具有预训练视觉语言模型的类别增量学习

    通过在图像编码器之后或文本编码器之前在预训练的 CLIP 模型上增加附加层，我们提出了一种利用预训练视觉 - 语言模型进行进一步调整的方法，从而使其能够适应新任务而不仅仅是零样本学习。我们对线性适配器、自注意适配器以及修改 CLIP 文本编码器输入的提示调整进行了研究。此外，我们还提出了一种参数保留的方法，通过衡量参数重要性，在增量学习过程中更好地保持稳定性和可塑性。实验证明，最简单的解决方案 —— 一个具有参数保留的线性适配器层，获得了最佳结果。多个常规基准实验一致表明这种方法显著改进了现有技术水平。

    Oct, 2023

  • 语义交互学习用于文本分类：一种基于上下文交互的构建方法

    本文提出了一个基于语义学习的交互框架，将人类提供的构建性和上下文反馈融入到机器的学习过程中，提出了一种称为 SemanticPush 的技术，该技术能够有效地为机器推理向期望的行为进行人类概念修正的转化。我们在多分类任务中展示了基于语义学习的交互框架明显优于现有的 IML 策略 CAIPI，表现出更好的预测性能以及更好的局部解释质量。

    Sep, 2022

  • 基于深度学习的视觉 - 语言任务统一框架

    通过引入 pool-adapter 模块，保留视觉嵌入的位置信息，我们的 InfMLLM 方法在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。

    Nov, 2023

  • 学习还是回忆？再探基于预训练语言模型的增量学习

    在自然语言处理领域中，基于预训练语言模型的增量学习的研究表明，现有的方法普遍低估了预训练语言模型天生的抗遗忘能力，研究者提出了一种名为 SEQ * 的简单方法，它在各项度量上与最先进的增量学习方法具有竞争力或更好的表现，并且需要较少的可训练参数和训练时间。

    Dec, 2023

  • 融入视觉专家解决多模态大语言模型中的信息损失

    这篇论文提出了一种通过专家混合知识增强机制来改善多模态大型语言模型 (MLLMs) 的视觉感知能力的方法，并通过集成视觉专家实现了视觉输入的更全面准确的概括，进一步提升了 MLLMs 的视觉感知能力。

    Jan, 2024

  • 无记忆学习

    提出一种新方法 “无需记忆学习 (LwM)”，通过信息保留惩罚方法 Attention Distillation Loss (L_AD) 来保存基础类的信息，同时逐步学习新类，实现在设备内存有限的情况下进行增量学习并取得更好的效果，实验证明在 iILSVRC-small 和 iCIFAR-100 数据集上，加入 L_AD 相较于现有的信息保留方法有更好的基础和增量学习准确度。

    Nov, 2018

  • 通过 LLMs-AIGCs 协作进行系统性视觉适应的交互式数据合成

    该文章介绍了一种基于 LLM 模型的 ChatGenImage 新模型，用于数据扩充和标注，以及探索 LLMs 与 AIGC 模型的互补优势，以实现更可控的图像生成，并首次尝试将它们合作用于自动数据增强，并呈现了令人惊叹的结果。

    May, 2023