Sep, 2023

具有参数高效迁移学习的通用度量学习

TL;DR我们引入了一种名为通用度量学习(UML)的新型度量学习范式,它能够学习到能够捕捉多个数据分布关系的统一距离度量。通过使用预训练模型和两个额外的模块,即随机适配器和提示池,我们提出了一种名为参数高效通用度量学习(PUMA)的方法来解决不平衡数据分布和对主导分布的偏见等新挑战。此外,我们还编译了一个包含 8 个不同数据集的新通用度量学习基准。相较于特定数据集模型,PUMA 在使用大约 69 倍较少的可训练参数的情况下表现更好。