May, 2022

相互信息散度：多模态生成模型的统一度量

PDF
TL;DR采用 CLIP 特征的负高斯交叉互信息度量被提出，用于评估 text-to-image generation 和 image captioning 任务的机器智能水平，与竞争指标相比具有一致性、样本简约性和鲁棒性，并在多模态表示学习中得到了广泛的应用。
text-to-image generationimage captioningmachine intelligenceclip featuresmultimodal generative evaluations
发现论文，激发创造
  • 零样本跨模态数据翻译：基于互信息引导的随机扩散

    本文提出了一个名为互信息指导扩散的跨模态数据翻译模型（MIDiffusion）来解决零样本学习交叉模态数据翻译的基本挑战，该方法不需要基于源与目标领域的直接映射，且在实践中应用跨模态数据翻译方法具有优势。

    Jan, 2023

  • 广义互信息：一种用于判别聚类的框架

    本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果，并将核心距离更改为常见的挑战导致的原因。因此，我们通过引入广义相互信息 (GEMINI) 来推广相互信息，它是一组用于无监督神经网络训练的指标。与相互信息不同，一些 GEMINI 在训练时不需要正则化，因为它们在数据空间中具有几何意识的距离或核函数。最后，我们强调 GEMINI 可以自动选择相关的聚类数目，这是在深度判别聚类上很少研究的一个特性，因为聚类数目是先验未知的。

    Sep, 2023

  • 利用伪造的图像标题进行多模态摘要

    本文从互信息优化的角度研究了负样本对视觉语言预训练中交叉模态对比学习的影响，并提出了一种渐进式改进的交叉模态相似度对比学习策略，在理论指导下实现了对 (部分) 假负例样本有益和有害效应的平衡，这种方法在四个下游交叉模态任务中表现良好。

    May, 2023

  • 多模式学习系统中的互信息分析

    本文研究了多模态信号处理和分析的应用，通过利用信息计量的概念和 InfoMeter 系统，分析了自动驾驶的大规模数据集中的多模态 3D 物体检测系统，并提出了低模态间信息量对于检测准确性有益的新见解。

    May, 2024

  • 通过逐点互信息理解多模态对比学习

    本研究探讨了多模态表示学习中对称 InfoNCE 损失的理论理解，通过点间互信息的视角展示了达到预训练最优相似度的编码器在下游分类任务中提供了良好的表示。我们基于理论结果，提出了一种新的多模态对比学习相似度度量方法，并利用非线性核函数增强了其能力。通过在 Conceptual Caption 数据集上进行多模态表示模型的预训练，并在常用基准数据集上进行零样本分类和线性分类的评估，验证了所提方法的有效性。

    Apr, 2024

  • 判别聚类的广义互信息

    本文提出了一种新的无监督神经网络训练度量标准 —— 广义互信息 (GEMINI)，相比于互信息，它不需要正则化且可自动选择群聚数目，并且是数据空间的几何感知度量，从而提供更好的聚类效果。

    Oct, 2022

  • 对比学习中的互信息在视觉表征中的应用

    本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

    May, 2020

  • 对 Few-shot 图像生成技术的深入研究

    在小目标数据上进行预训练的 GANs 会在生成图像时出现重复样本的问题，研究者提出了几种方法来解决这个问题，但当前缺乏一个统一的分析框架。该论文提出了一个框架来分析现有方法，并发现某些方法过于注重多样性维护，反而抑制了图像质量的提高。在此基础上，研究者提出了一种双重对比学习的方法来缓解多样性退化问题，实验结果表明该方法取得了较好的性能。

    May, 2022

  • 互信息校准的边缘环境不确定性感知多模态三维物体检测

    通过将协同推断原理与信息理论测量相集成，我们的研究在多模态框架内实现了轻量级、无蒙特卡罗的不确定性估计，并通过多元高斯变分自动编码器的潜变量的乘积来融合 RGB 摄像机和 LiDAR 传感器数据的特征以提高预测准确性。通过基于加权损失函数的 CI 得出的不确定性边界的标准化互信息被用作调制器。我们的仿真结果表明，在模型训练期间，内在的预测不确定性与 NMI 呈负相关。该框架在 KITTI 3D 物体检测基准上展示了与不具备不确定性感知能力的相似方法相媲美甚至更好的性能，适用于边缘实时机器人技术。

    Sep, 2023

  • MINDE: 互信息神经扩散估计

    通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023