ICMLJun, 2024

多模态数据集精炼的低秩相似性挖掘

PDF
TL;DR提出了一种用于多模态数据集精简的低秩相似度挖掘（LoRS）方法，通过同时挖掘图像 - 文本对中的准确相似度矩阵，并利用低秩因式分解实现高效和可伸缩性，在现有算法上取得了显著的改进，对于视觉语言数据集精简领域做出了重要贡献。
dataset distillationmultimodal dataimage-text contrastive learninglow-rank similarity miningvisual-language dataset distillation
发现论文，激发创造
  • 图像 - 文本检索的多模态数据集精炼

    基于轨迹匹配的多模态数据集提炼方法在视觉语言数据集上表现出显著的改进，可通过只用 100 个训练对（数量减少一个数量级）几乎使图像到文本的检索准确率翻倍。

    Aug, 2023

  • 图文检索的动态对比蒸馏

    本研究提出了一种名为 DCD 的新型动态对比蒸馏框架，用于压缩大型 VLP 模型以改善跨模态图像文本检索（ITR）的效率和部署，其中涉及多模态对比学习、动态蒸馏等技术，实验证明在 MS-COCO 和 Flickr30K 基准上，将 DCD 策略应用于两种最先进的视觉语言预训练模型 VILT 和 METER 可加快推断至少 129 倍。

    Jul, 2022

  • ISD: 迭代相似性蒸馏的自监督学习

    通过对自我监督学习中的对比学习方法进行改进，引入了一种使用负样本的软相似度而不是二进制关系的无监督学习算法，可更好地处理不平衡的无标签数据并获得与最先进模型类似的结果。

    Dec, 2020

  • 跨模态对比学习蒸馏理论研究

    跨模态蒸馏是一个重要主题，用于包含有限知识的数据模态，如深度图和高质量素描。我们提出了一个基于对比学习的跨模态对比蒸馏（CMCD）的通用框架，该框架利用正负对应关系更好地蒸馏可泛化的特征，并在实验结果和收敛分析中验证了源模态和目标模态之间的距离对目标模态下游任务的测试误差有着显著影响。

    May, 2024

  • 跨模态相似性学习：一种低秩双线性表达

    本研究提出一种基于交叉模态相似性学习算法的跨媒体特征匹配方法，通过双线性约束和核范数惩罚实现低秩表示，并应用加速迭代最小化算法实现快速收敛。实验结果表明，在三个知名的图像 - 文本跨媒体检索数据库中，本方法较之现有算法具有更佳性能。

    Nov, 2014

  • 多模态相似性学习

    本文提出了一种基于多核学习以及基于图的过滤技术的方法，将多媒体数据中的多种模态融合到单一的相似度空间中，以解决多媒体数据中的主观问题和不一致问题。

    Aug, 2010

  • 教导焦点：基于注意力相似度知识蒸馏的低分辨率人脸识别

    本文提出了一种注意力相似性知识蒸馏方法，通过将从高分辨率网络得到的注意力地图作为教师传递到低分辨率网络作为学生，从而提高低分辨率图像的识别性能。该方法在各种低分辨率人脸相关基准上的实验证明其通常可以通过简单地传输精心构造的注意力图来改善低分辨率设置下的识别性能，优于现有技术水平。

    Sep, 2022

  • 指导压缩使得大型语言模型成为高效的零 - shot 排序器

    通过引入一种新颖的指令提炼方法，将开源的 Large Language Models（LLMs）的成对排序能力提炼为更简单、更高效的逐点排序，以提高 LLMs 的排序性能和效率。

    Nov, 2023

  • AICSD: 自适应类间相似度蒸馏，用于语义分割

    该论文提出了一种名为 Inter-Class Similarity Distillation（ICSD）的新方法，通过独立计算每个类的内类分布并计算 KL 散度得出类之间的相似性矩阵进行知识蒸馏，结合自适应损失权重（ALW）训练策略，在语义分割领域的两个著名数据集上验证了该方法的有效性。

    Aug, 2023

  • 一个类别一个提示：使用扩散模型进行数据集精炼

    利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

    Mar, 2024