MMAug, 2019

通过强化行列式点过程实现多样化准确的图像描述

PDF
TL;DR通过结合 DPP 和强化学习，提出了一种 R-DPP 方法，以生成一个高质量和多样性的图像标注集合，并表明其在准确性和多样性方面的表现优于 GAN、VAE 等基于噪声的控制信号。
automatic image captioningdiverse captionsdeterminantal point processreinforcement learningaccuracy
发现论文，激发创造
  • 使用行列式点过程学习不同的生成

    本文探讨了使用 Determinantal Point Process (DPP) 的无监督惩罚损失方法以及内嵌在敌对训练和变分自编码器中的生成 DPP 方法。这种方法可以生成更高质量的样本而且更具多样性，同时不会改变原始的训练方案。

    Nov, 2018

  • RD-DPP: 速率失真理论 meets 确定性点过程以实现多样化学习数据样本

    该研究提出了一种基于速率失真理论的选择具有任务导向的多级分类数据样本的新方法，称为 RD-DPP，可用于评估数据样本的情境感知多样性。此外，该研究观察到了基于确定性点过程的数据选择在样本累积过程中存在相变现象，从而设计出一种双峰方法以获得更大的多样性收益。

    Apr, 2023

  • 学习行列式点过程

    该论文提出了一种基于特征的条件 DPP 模型的参数化形式，利用其进行了可行的、凸优化的学习，最终应用于文本摘要任务并获得了最先进的结果。

    Feb, 2012

  • 改进用于监督视频摘要的序列行列式点过程

    本文讲述了一种基于顺序行列式点过程（SeqDPP）的有监督视频摘要方法，该方法通过概率分布建模多样性。我们提出了一种大边际算法，以解决 SeqDPP 中的曝光偏差问题。同时，我们还设计了一种新的概率分布，当它被集成到 SeqDPP 中时，产生的模型可以接受用户输入期望的摘要长度。此外，我们还扩展了一个视频摘要数据集，并对该数据集进行了广泛的实验比较。

    Jul, 2018

  • 独特的图像字幕化：借助 CLIP 引导强化学习的基准真实字幕

    用训练图像字幕模型的教师强迫方法生成的样本非常通用，而更具有独特性的字幕对于检索应用或生成描述图像的替代文本以提高可访问性非常有用。这篇论文提出了一种新的图像字幕模型训练策略，其中利用了不同方式的真实字幕，从而在保持高写作质量的同时生成高度独特的字幕。

    Feb, 2024

  • 快速贪心 MAP 推断的确定性点过程，以提高推荐的多样性

    本文提出了一种新算法，用于改进依赖于近邻的决定性点过程（DPP）的最大后验概率（MAP）推理，从而在大规模数据集上更快地生成相关而多样化的推荐结果，并证明其好处远超于现有相关研究。

    Sep, 2017

  • 基于词性引导的快速、多样化和准确的图像字幕生成

    本文提出了一种新的图像描述生成方法，先预测图像的意思概要，再基于该概要生成文本，相比于传统 beam search 的方法，本文方法在文本多样性、计算效率和生成的描述准确性方面都有明显提高。

    May, 2018

  • 机器学习中的行列式点过程

    本文介绍了基于行列式点过程（DPPs）的概率模型，包括算法的细节，以及该方法在机器学习中的应用，例如生成多样化的搜索结果和摘要，分析图像中的非重叠人类姿势等。

    Jul, 2012

  • 大边界行列式点过程

    本文探讨了如何通过重新参数化核矩阵，并提出了一种新的基于大间隔分离原则的参数估计技术来学习标记训练数据的 DPP 的参数（核矩阵），以及在文档和视频摘要的挑战性应用中使用我们提出的方法进行建模。

    Nov, 2014

  • 通过对抗式学习生成多样且准确的视觉描述

    提出一种基于条件生成对抗网络的比较式对抗学习框架，能够在图像描述任务中生成不仅准确而且多样化的描述语句。

    Apr, 2018