Sep, 2022
各向同性表示可以提高密集检索性能
Isotropic Representation Can Improve Dense Retrieval
Euna Jung, Jungwon Park, Jaekeol Choi, Sungyoon Kim, Wonjong Rhee
TL;DR本研究使用 Normalizing Flow 和 whitening 等无监督的后处理方法,提出一种基于令牌和序列的方法来处理密集检索模型的表示,优化 BERT 表示的各向同性分布,实验结果表明,这种方法可以显著提高文档排序的性能,并在处理不同的测试数据集时具有潜在的鲁棒性。