Jul, 2023
物体识别基准的进展是否改善了现实世界的泛化能力？
Does Progress On Object Recognition Benchmarks Improve Real-World Generalization?
Megan Richards, Polina Kirichenko, Diane Bouchacourt, Mark Ibrahim
TL;DR通过对全球家庭物品的两个数据集进行广泛的实证评估，我们首先确定了标准基准和现实世界地理转变之间的进展差距，接着通过测量不同地区性能的差异，研究了模型在地理上的泛化能力，并发现了地理差异的增加是传统基准进展的副作用。最后，我们强调了在更具代表性的数据上重新训练简单的最后一层如何作为未来工作的有希望的方向，使得两个基准测试的地理差异减少了三分之二以上。