Feb, 2024
交换凸代理的一致性与维度对模态的权衡
Trading off Consistency and Dimensionality of Convex Surrogates for the
Mode
TL;DR在多类别分类中，为了设计出一种一致的代理损失函数，将结果嵌入到至少具有$n-1$维的实数空间中是必要的；对于大型的$n$，优化$n-1$维的代理函数是困难的。本研究探讨了在多类别分类中如何权衡代理损失函数的维度、问题实例的数量以及简单形式下的一致性区域。通过进行嵌入，我们证明了对于每个点的质点分布，存在于高维空间中的全维子集，这些子集具有一致性；但是，在低于$n-1$维的情况下，也存在一种现象称为幻觉，在该现象下，代理损失的最优预测结果是一个概率为零的结果。通过推导出一种检查给定多面体嵌入和低噪声假设下一致性的结果，我们提供了何时使用特定嵌入的洞察。在低噪声假设下，我们提供了将$n=d!$个结果嵌入到$d$维排列多面体以及将$n=2^d$个结果嵌入到$d$维单位立方体的示例。最后，我们证明在有多个问题实例的情况下，我们可以在整个简单形式上学习具有$ rac{n}{2}$维的模式。