Jan, 2024
将地理多样化知识融入提示中，提高物体识别的地理鲁棒性
Incorporating Geo-Diverse Knowledge into Prompting for Increased Geographical Robustness in Object Recognition
Kyle Buettner, Sina Malakouti, Xiang Lorraine Li, Adriana Kovashka
TL;DR现有的目标识别模型在多样化的地理情况下缺乏鲁棒性，由于设计和上下文中存在显著的领域转变。为了更准确地反映这些转变下的目标概念，需要适应类别表示。在没有来自目标地理区域的训练数据的情况下，我们假设地理特定的目标类别的描述性知识可以利用起来增强鲁棒性。为此，我们探索了在零样本学习和可学习的软提示中探测大规模语言模型的地理特定目标知识的可行性，并提出了一种地理知识正则化方法，以确保在一个源地理集合上训练的软提示可以推广到一个未见过的目标地理集合上。我们在 DollarStreet 数据集上从仅在欧洲数据上训练的模型泛化时，得到了大约 + 2.8（非洲国家）和 + 4.6（最困难的类别）的收益。我们进一步展示了与少样本目标训练相竞争的性能，并深入分析了描述性知识如何捕捉地理差异。