Feb, 2024
交换凸代理的一致性与维度对模态的权衡
Trading off Consistency and Dimensionality of Convex Surrogates for the Mode
Enrique Nueve, Bo Waggoner, Dhamma Kimpara, Jessie Finocchiaro
TL;DR在多类别分类中，为了设计出一种一致的代理损失函数，将结果嵌入到至少具有 $n-1$ 维的实数空间中是必要的；对于大型的 $n$，优化 $n-1$ 维的代理函数是困难的。本研究探讨了在多类别分类中如何权衡代理损失函数的维度、问题实例的数量以及简单形式下的一致性区域。通过进行嵌入，我们证明了对于每个点的质点分布，存在于高维空间中的全维子集，这些子集具有一致性；但是，在低于 $n-1$ 维的情况下，也存在一种现象称为幻觉，在该现象下，代理损失的最优预测结果是一个概率为零的结果。通过推导出一种检查给定多面体嵌入和低噪声假设下一致性的结果，我们提供了何时使用特定嵌入的洞察。在低噪声假设下，我们提供了将 $n=d!$ 个结果嵌入到 $d$ 维排列多面体以及将 $n=2^d$ 个结果嵌入到 $d$ 维单位立方体的示例。最后，我们证明在有多个问题实例的情况下，我们可以在整个简单形式上学习具有 $ rac {n}{2}$ 维的模式。