Nov, 2023

图像 - 文本匹配中的样本对语义主动挖掘

PDF
TL;DR提出了一种新的图文匹配模型，叫作主动挖掘样本对语义图文匹配模型 (AMSPS)，该模型采用多样化的学习模式使模型更加关注无法处理的负样本，从未注释的项目中主动挖掘更多隐藏的相关语义表示，大大提高了模型的性能和泛化能力。在 Flickr30K 和 MSCOCO 通用数据集上的实验结果表明，我们提出的方法优于最先进的比较方法。
commonsense learningimage-text matchingtriplet lossactive learningsemantic representations
发现论文，激发创造
  • 增强对比实例判别的语义正对组

    本研究提出了一种基于语义正例对集合（SPPS）的方法，它可以降低在表示学习期间丢失重要特征的风险，并在 ImageNet，STL-10 和 CIFAR-10 数据集上验证了该方法的可行性。

    Jun, 2023

  • 多标签图像分类的语义感知双对比学习

    通过引入样本对间对比学习和原型 - 样本对比学习，提出了一种新颖的语义感知双对比学习框架，通过联合训练三个模块，准确捕捉与图像内容相关的判别性标签级特征，并在五个具有挑战性的大规模公共数据集上实验证明了该方法的有效性优于现有技术。

    Jul, 2023

  • 多语义解析器的主动学习

    本研究提出了首个主动学习过程 (MSP) 用于语义解析，包括数据集选择和超参数调整，从而达到减少翻译成本并提高解析性能的目的。

    Jan, 2023

  • 用于更精确语义解析的语义感知对比学习

    本文提出一种基于语义的对比学习算法，旨在从多层次角度区分微观含义表达，并结合整体序列级的语义。该算法采用多级在线抽样算法，在采样数据时考虑到差异化的实例。文中更提出三种基于语义感知的相似度函数，并使用排名对比损失来拉近相同语义示例的表示并将负样本案例里散开，实验结果表明，本文的算法在两个标准数据集上都取得了显著的改进，并只是在基本 Seq2Seq 模型上应用了基于语义的对比学习，使模型性能达到了最佳状态。

    Jan, 2023

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 通过选择困难负面无配对样本进行精细分类图像 - 文本检索的主动学习

    我们提出了一种主动学习算法，用于图像 - 文本检索 (ITR)，以更具成本效益地收集配对数据。通过引入一种新的评分函数来选择难以配对的图像（或文本）作为负样本，我们验证了该方法在 Flickr30K 和 MS-COCO 数据集上的有效性。

    May, 2024

  • 使用最难和半难负对挖掘的视觉 - 文本关联在人物搜索中的应用

    提出了一种采用视觉和文本注意力、交叉模态最难和半硬负对挖掘的新型视觉文本关联方法，通过在 CUHK-PEDES 数据集上的广泛实验，实现了 55.32% 的 top1 得分，成为了新的最先进方法。同时，在 COCO 字幕数据集上评估了半硬匹配挖掘方法，并验证了方法的有效性和互补性。

    Dec, 2019

  • 半监督主动学习的实例分割技术及其评估方法

    本文提出了一种基于三元组评分预测 (TSP) 的不确定性采样策略和半监督主动学习框架，以减少标注代价并提高实例分割的性能，通过在医学图像数据集上的实验，表明了该方法可以在不影响性能的情况下大幅减少标注代价。

    Dec, 2020

  • 利用基于语义相似度的图结构进行高效数据选择的模型训练

    该研究论文介绍了一种有效的数据抽样机制，通过基于文本信息而不经过计算密集型模型或其他密集预处理转换，将新数据点分类为语音识别难度桶。结果表明，使用该方法比随机预测提高了 93% 的 ASR 性能精确度，并对文本表示在语音模型中的影响提供了重要信息。此外，一系列的实验证明了使用 ASR 信息对模型进行细调的益处和挑战。与随机抽样相比，报告了 7% 的验证损失下降，针对高难度数据集的非局部聚合的 WER 降低了 7%，并且在数据集之间具有高语义相似性的局部聚合下，WER 降低了 1.8%。

    Feb, 2024

  • 多图像基于一致特征挖掘的语义匹配

    本研究提出了一种多图像匹配方法以估计多个图像之间的语义对应关系，并且利用稀疏可靠特征匹配而非优化所有成对对应关系，同时还提出低秩约束来确保整个图像集上的特征一致性。该方法在多图匹配和语义流基准测试中表现优异，同时在不使用任何注释的情况下对重建对象类模型和发现对象类地标具有适用性。

    Nov, 2017