高亮度 LHC 数据压缩的可微分 EMD
本文提出了使用 Earth Mover's Distance(EMD)等方法进行 few-shot 图像分类的新视角,并介绍了一种交叉引用机制来处理复杂背景和外观变化的图像。我们还展示了本算法在五个广泛使用的 few-shot 分类基准数据集上优于现有技术的实验结果,并在图像检索任务上展示了本方法的有效性。
Mar, 2020
提出了一种基于注意力模型的训练损失的准确估算方法,用于生成模型并使用 Earth Mover's Distance 作为损失函数,并提供了使用该模型进行海量点云推断的显著性能提升。
Nov, 2023
本研究提出了一种基于数据并行的 Earth Mover's Distance 近似算法,具有线性时间复杂度以及适用于高维空间和高重叠概率分布的优势,在文本和图像领域中取得了较高的近似精度。
Dec, 2018
本文提出了一种计算大规模相关高维数据集之间的距离的快速方法,称为扩散地球移位距离(Diffusion Earth Mover's Distance)。通过建模数据集为分布并计算相互作用矩阵来实现,该方法的时间复杂度为 O (n),并且比基于树的算法更加准确和可微分,适用于深度神经网络等梯度下降框架。实验通过 210 个 COVID-19 样本的单细胞数据表明该方法比同等精确度的方法至少快两个数量级,且可以嵌入更高层次的患者流形中揭示患者间的结构和异质性,并可适用于其他医学和生物模型中大规模数据集的距离计算。
Feb, 2021
本研究提出将 Wasserstein 距离应用于单标签分类,以考虑现实任务中存在的类别间联系,并表明该方法在具有明显类间关系的数据集上表现出最新的最优结果。
Nov, 2016
使用最近邻搜索来逼近地球移动距离(EMD),以实现高准确性、低时间复杂度和高内存效率;通过 GPU 的向量化进一步加快速度,比现有的近似 EMD 方法在图像分类和检索任务中达到 44 倍至 135 倍的速度优势,同时实现了更好的准确性、加速比和内存效率。
Jan, 2024
本文提出了一种使用 Earth Mover's Distance (EMD) 的指数结构来更有效地查询不确定性数据集的办法,借助新的 EMD 下限方法和索引结构来实现 K 个最近邻 (K-NN) 查询,通过将每个分布映射到向量上并将每个正常表示为 Hough 变换空间中的一个点,得到有效的性能提升和查询时间降低。
Nov, 2011
本文通过集合论的解释,从正定核的角度提出了 Earth Mover's Intersection (EMI) 方法,与 Earth Mover's Distance (EMD) 类似,可以有效地解决不同大小的集合的问题。同时,作者提供了一些 EMD 的逼近情况和正定性保持变换等技术,对于计算机视觉任务,使用 EMI 和提出的变换的核优于使用 EMD 的结果。
Oct, 2015
神经语言模型是人类文本的概率模型,主要使用最大似然估计进行训练。本文提出了基于 EMD 优化的自回归语言建模方法,通过对 EMD 的上界估计实现了端到端训练,并在广泛评估中表现出了比 MLE 更好的语言建模性能。此外,EMO 还能在仅微调 25000 个句子的情况下大幅提升下游任务性能,展现了作为轻量级校准方法的巨大潜力。
Oct, 2023
本文提出了一种基于 many-to-many layer mapping 的 BERT 蒸馏方法,利用 Earth Mover's Distance 计算知识传递的最小累积代价,并采用成本注意机制自动学习传递层权重,以在 GLUE 基准测试上实现与强竞争对手相当的性能表现和模型压缩。
Oct, 2020