EMNLPOct, 2023

平衡行为:利用查询和图库消除跨模态检索中的中心化问题

TL;DR本研究提出了一种后处理解决方案来解决跨模态检索中的枢纽问题,该问题是指频繁地检索到少数库数据点,从而导致检索性能下降。我们在理论上首先证明了结合库数据和查询数据来解决枢纽问题的必要性,因为枢纽总是与库数据和查询数据具有高相似性。然后,基于我们的理论结果,我们提出了一种新的框架双库标准化(DBNorm)。最后,我们在多样的语言环境基准测试中进行了广泛的实验结果展示,包括文本 - 图像、文本 - 视频和文本 - 音频,证明了我们的方法在解决枢纽问题并提升检索性能方面的卓越表现。