Aug, 2024

通过正交变换层实现向后兼容的对齐表示

HTML
PDF
TL;DR本研究解决了视觉检索系统在模型更新时由于表示不对齐所带来的挑战。提出的正交兼容对齐（OCA）方法通过扩展表示空间，学习正交变换来兼容旧模型，同时融合新信息，有效避免了重新索引的需求，并在CIFAR-100和ImageNet-1k上的实验结果显示出更高的准确度。
发现论文，激发创造
  • 朝向向后兼容的表示学习

    提出了一种名为“backward-compatible training (BCT)”的框架来训练嵌入模型，它可使不同维度和架构、通过不同损失函数学习的视觉特征具有兼容性，从而实现新计算机制与旧计算机制之间的互换，使视觉搜索系统能够跳过计算所有以前看到的图像的新功能。

    Mar, 2020

  • 针对图像检索和重新识别的对齐关键点嵌入

    本研究提出了一种新的关键点对齐图像嵌入方法 (KAE-Net)，通过多任务学习和热力图重构来辅助训练，实现了图像的检索和重新识别任务，并在CUB-200-2011、Cars196和VeRi-776等基准数据集上取得了最先进的性能表现。

    Aug, 2020

  • 兼容性敏感的异构视觉搜索

    本篇研究针对资源限制下的视觉搜索问题，提出了一种通过生成来自大型模型的画廊嵌入和使用紧凑模型提取查询嵌入的方法来减轻准确性和效率之间难以解决的关系，并通过修改参数和架构来实现嵌入之间的兼容性，从而实现了 80 倍和 23 倍的成本降低，而在 DeepFashion2 和 IJB-C 等挑战性的检索任务中，准确率仅比最佳嵌入模型低不到 0.3% 和 1.6%。

    May, 2021

  • 学习兼容嵌入

    本文介绍了一种名为学习兼容嵌入（LCE）的框架，通过直接或通过转换将模型之间的类中心对齐，并限制新模型更紧凑的内部类分布来实现交叉模型兼容性和向前/向后兼容性训练。在实验中，LCE有效地实现了模型兼容性，并取得了较高的准确性。

    Aug, 2021

  • 图像检索中基于回归缓解兼容训练的热刷新模型升级

    介绍了一种Regression-Alleviating Compatible Training（RACT）方法，通过利用兼容性训练和有效的反填策略来解决热刷新模型升级中的回归问题，有效缩短了用户体验的改进时间。

    Jan, 2022

  • 可切换表示学习框架及自兼容性

    本研究提出了一种具有自兼容性的Switchable表征学习框架，并使用不确定性估计动态调整子模型的优先级，最终在评估数据集上获得了最先进的性能。

    Jun, 2022

  • 图像检索中通过对抗学习的边界感知的向后兼容表示

    介绍了在视觉检索系统中，从传统模型更新到新模型需要重新计算所有图片嵌入，所以引入兼容性训练（BCT）的方法，并提出了Adversarial Backward-Compatible Training（AdvBCT）方法进行对比实验，表明其在兼容性和辨别性方面均优于其他BCT方法。

    May, 2023

  • 自适应向后兼容训练的MixBCT

    提出了MixBCT，一种简单而高效的反向兼容训练方法，作为适用于不同质量旧模型的统一框架，通过构建单一损失函数实现了反向兼容训练。

    Aug, 2023

  • 稳定的表示：最优逼近兼容性与改进模型替代的影响

    学习兼容表示使得语义特征可以随着时间的推移而交替使用，本文通过展示$d$-Simplex固定分类器学习的平稳表示在其形式定义的两个不等式约束下最优近似兼容表示，不仅为未来的研究奠定了坚实基础，同时也提供了可以在实际学习情景中应用的启示。

    May, 2024

  • 面向视觉-语言模型的跨模态向后兼容表示学习

    本文提出了一种名为“Cross-modal BT (XBT)”的方法，通过引入一个经过预训练的投影模块来解决视觉-语言预训练模型（如CLIP）的向后兼容问题，有效降低了跨模态训练所需的图像-文本对数量并提高了效率，实验结果显示XBT的有效性及其在新VLP模型出现时实现无需回填的升级的潜力。

    May, 2024