Oct, 2023

OTMatch：以最优传输方式改进半监督学习

PDF
TL;DR本文介绍了一种新的方法 OTMatch，通过使用最优输运损失函数，利用类别之间的语义关系，提高半监督学习的性能。与现有最先进的方法 FreeMatch 相比，在 CIFAR-10、STL-10 和 ImageNet 数据集上分别实现了 3.18%、3.46% 和 1.28% 的错误率降低，证明了我们方法在半监督学习中利用语义关系提升学习性能的有效性和优越性。
semi-supervised learningotmatchoptimal transport loss functionself-training techniqueslearning performance
发现论文，激发创造
  • 从子集一一对应关系学习运输成本

    本文研究了使用少量副信息来学习代价函数的方法，该信息能够捕获到数据集中的子集对应关系，并提出了一种基于 Sinkhorn 算法的端对端优化器，实现了代价函数的自适应学习，结果表明该方法在图片、婚姻匹配和单细胞 RNA 测序等数据集上取得了明显的性能优势。

    Sep, 2019

  • OTTER: 通过最优传输提高零 - shot 分类

    零样本模型在预训练时遗传了一些问题，其中一个特别有害的问题是由于不平衡的网络规模预训练数据导致的标签分布不匹配。我们引入了一种简单且轻量级的方法，通过最优传输来调整预训练模型的预测结果，在广泛的零样本图像和文本分类任务中实验证实了我们的方法能够在准确率上提高 4.8% 和 15.9% 的平均值，并在 21 个数据集中的 17 个中击败了类似 Prior Matching 的基线方法。

    Apr, 2024

  • 度量学习增强的生物化学回归域自适应最优输运

    本文提出使用最优传输算法（OT）进行表示对齐，解决生物医学应用中的连续标签回归任务问题。通过提出新的测度域距离和引入后验方差正则化的方法，进一步为拓展任务提供了支持。此外，提出了将 OT 与度量学习相结合的方法，通过动态层次三重损失函数来描述全局数据分布，试验证明该方法在未监督和半监督学习任务的小分子和材料晶体数据上显著优于现有方法。

    Feb, 2022

  • SP$^2$OT：语义规范化的逐步偏差最优传输用于不平衡聚类

    我们提出了一个基于最优传输的伪标签学习框架来解决深度不平衡聚类问题，该框架通过逐步将样本转移到不平衡的聚类中生成高质量且注意不平衡性的伪标签。

    Apr, 2024

  • OPTiML: 自我监督医学图像表示中的稠密语义不变性应用最优传输

    我们介绍了一种新的自我监督学习框架 OPTiML，采用最优输运（OT）来捕捉密集的语义不变性和细节，从而提高医学图像表示学习的总体效果，并且在胸部 X 射线模态上的实验结果表明 OPTiML 在所有评估任务中优于最先进的方法。

    Apr, 2024

  • 非平衡最优输运半对偶形式生成建模

    本文提出基于 Unbalanced Optimal Transport (UOT) 的半对偶形式构建的新型生成模型，相比于基于 OT 的方法在处理噪点，稳定性和训练收敛速度等方面表现更优。通过实验验证了该模型的性质，并研究了 UOT 之间分布差异的理论上界。实验结果显示，该模型在 CIFAR-10 和 CelebA-HQ-256 数据集上的 FID 分别为 2.97 和 5.80，优于现有基于 OT 的生成模型。

    May, 2023

  • OTA: 目标检测的最优传输分配

    本文提出了一种从全局角度重新考虑标签分配的方法，将其表述为最优输运（OT）问题，并使用 Sinkhorn-Knopp 迭代法求解，经实验证明这种方法在物体检测中具有显著的效果提升。

    Mar, 2021

  • 通过逆最优输运学习匹配

    本文提出了一种基于反向最优传输的统一数据驱动框架，可从噪声和不完整的实证匹配矩阵中学习自适应、非线性交互成本函数并在各种匹配环境下预测新的匹配。

    Feb, 2018

  • 无监督形状对应学习中高效最优传输和功能映射的集成

    计算机视觉和图形领域，使用功能映射和最优传输处理非刚性形状匹配问题，采用切片沃舍尔斯坦距离作为最优传输度量，在无监督形状匹配框架中通过功能映射正则化和源自切片沃舍尔斯坦距离的最优传输损失增强形状特征对齐，同时采用熵正则化最优传输的自适应细化过程进一步提高准确的点对点对应关系，有效地处理非刚性形状匹配，包括近等度和非等度情景，并在分割转换等后续任务中表现出卓越性能。

    Mar, 2024

  • 不平衡最优传输：物体检测的统一框架

    本文提出了一种新方法，使用不平衡最优输运（Unbalanced Optimal Transport）对目标检测模型进行训练，能够在 AP 和 AR 方面达到业内最好水平，并提供更快的初始收敛速度，适合于大规模模型的 GPU 实现。

    Jul, 2023