Feb, 2024

通过复杂性约束的描述性自编码实现可解释的概念相似度度量

PDF
TL;DR图像相似度的量化是图像机器学习的一个关键版权问题。本文提出了一种基于概念相似性的图像相似度度量方法，通过生成逐渐复杂的图像描述来衡量相似度，该方法在图像对比和文本对比中表现优于现有基准，并通过指示差异描述粒度提供了解释性。
发现论文，激发创造
  • 上下文视觉相似性

    本文提出了概念 “上下文视觉相似度”，并探讨了在图像搜索应用领域的应用。使用三张图片，通过学习各个图像各个维度的特征权重以及重加权后的距离来确定查询图片与正向图片的相似度，以及他们与负向图片的相异度。

    Dec, 2016

  • 基于跨模态相似性的课程学习在图像描述中的应用

    该研究提出一种基于跨模态相似性的难度度量方法，用于图像字幕生成模型的训练，并在 COCO 和 Flickr30k 数据集上验证了其有效性，证明其在难样本和未见数据上表现出较高的泛化能力。

    Dec, 2022

  • 卷积神经网络的量化语义比较

    本篇论文提出两种方法来量化 CNN 潜在空间中语义信息的相似度，以解决模型透明性问题。通过将这些方法应用于三种不同的目标检测器和两个数据集，我们的研究表明相似的语义概念是在所有 CNN 体系结构中学习的，且相似的概念出现在相似的相对层深度中，而与总层数无关。该研究成果有望实现 CNN 模型选择的知情和语义信息处理的理解。

    Apr, 2023

  • ConceptBed: 评估文本到图像扩散模型的概念学习能力

    为了定量衡量 T2I 模型在学习和合成新型视觉概念的能力，该论文提出了一个大规模数据集 ConceptBed 和一个新的评估指标 Concept Confidence Deviation (CCD)，作者评估了对象、属性、样式及四种组合性维度，研究发现概念学习和保持组合性之间存在权衡。

    Jun, 2023

  • 关于图像标注中的多样性：如何像人类一样描述

    本文提出了一种新的度量图像标题多样性的指标，并使用隐含语义分析进行核函数转换以利用 CIDEr 相似度进行度量，结果发现最近的标题模型在准确度和多样性方面与人类表现仍存在较大差距，并且优化准确度（CIDEr）的模型的多样性很低，同时表明在强化学习的交叉熵损失和 CIDEr 奖励之间进行平衡可以有效地控制生成的标题的多样性和准确性的平衡。

    Mar, 2019

  • DreamSim：使用合成数据学习人类视觉相似性的新维度

    本文提出了一个全新的知觉度量标准 DreamSim，通过人类相似度判断数据集的研究得出，该标准可以全面评估图片的相似性，更关注于前景物体和语义内容及对颜色和布局敏感，并且具有很好的一般性能。

    Jun, 2023

  • 可解释的非度量盒嵌入预测图像之间的视觉重叠

    本文介绍了一种可解释的图像嵌入方法，通过对已知具有 3D 可视表面重叠的训练示例进行测量，从而学习场景特定的相似度，并通过简单且快速的方式减少了在不同比例下的查询图像匹配和几何验证中的搜索成本。

    Aug, 2020

  • 可归因的视觉相似度学习

    本文提出 AVSL 框架，用于更精确和可解释地衡量图像之间的相似度，通过基于人类语义相似性认知构建通用相似性学习范式，使用图形以及自下而上的相似性构建和自上而下的相似性推断框架，在语义层次一致性的基础上推断相似性，取得了显著的改进，并验证了框架的可解释性。

    Mar, 2022

  • 表征学习中视觉概念的可学习性和可描述性的量化

    通过评估人类注释者作为分类器，本研究提出了视觉可学性和可描述性两个概念，用于量化任意图像分组（包括无监督分组）的可解释性，并提出了一种类别级别的字幕生成系统来自动生成对视觉分组的描述，并使用可描述性度量将其与人类注释者进行比较。

    Oct, 2020

  • 图像质量评估：统一结构和纹理相似性

    通过卷积神经网络，构建了一种显式容忍纹理重采样的完全参考图像质量模型，利用纹理相似度和结构相似度结合来优化图像质量评估，在现有的数据库和纹理数据库上都表现出了具有竞争力的性能。

    Apr, 2020