Nov, 2023

对比一致性搜索的优化目标比较

PDF
TL;DR通过调整超参数，我们提出了一种名为中点位移（MD）损失函数，它通过优化目标对比一致搜索（CCS）来恢复大型语言模型的内部表示，并展示了 MD 损失函数在更好的超参数下获得了比 CCS 更高的测试精度。
发现论文，激发创造
  • 无监督的具有语言模型的对比一致排序

    通过引入对比一致性搜索（CCR）方法，我们研究了语言模型排名任务中的一致性排名，结果证实 CCR 探测优于提示，甚至与提示更大的语言模型性能相当。

    Sep, 2023

  • 关于对抗鲁棒性的重新思考：Softmax 交叉熵损失

    该研究探讨了在保证标准准确率的前提下提高对抗性鲁棒性的方法，介绍了 Max-Mahalanobis 中心损失函数，强制在特征空间中诱导高密度区域，以使学习到的特征点更加紧凑和有序，从而提高对抗性防御水平。

    May, 2019

  • 考虑校准的边际损失：推动深度度量学习准确性和校准性平衡前沿

    使用相同的距离阈值将不同的测试类别 / 分布应用于商业图像检索系统的能力是非常可取的；然而，最先进的深度度量学习损失常常导致高度变化的类内和类间嵌入结构，使得阈值校准在实践中成为一个非常复杂的过程。本文提出了一种名为操作点不一致性分数（OPIS）的新度量，用于衡量目标校准范围内不同类别之间操作特性的方差，并且证明度量学习嵌入模型的高准确性不能保证对已见和未见类别的校准一致性。我们发现，在高准确性区域存在一条帕累托前沿，在提高准确性的同时牺牲校准一致性。为了解决这个问题，我们开发了一种名为校准感知边界（CAM）损失的新型正则化方法，以在训练过程中鼓励类别间表示结构的一致性。大量实验证明了 CAM 在提升校准一致性的同时保持甚至提高准确性方面的有效性，并且优于最先进的深度度量学习方法。

    Jul, 2023

  • (去偏) 对比学习损失在推荐中的应用（技术报告）

    本文通过对比学习的视角对推荐任务中的推荐损失进行了系统的研究，引入并研究了去偏 InfoNCE 和互信息神经估计（MINE）这两种损失函数，并通过下界分析将它们与 BPR 损失进行了关联和区分。此外，提出了去偏点对损失（适用于均方误差和余弦对比损失），并在理论上证明了 iALS 和 EASE 这两种最流行的线性模型本质上是去偏的。实证实验结果验证了去偏损失和新引入的互信息损失的有效性超过了现有的（有偏的）损失函数。

    Dec, 2023

  • 预测与优化的对比损失和解决方案缓存

    本文提出了基于噪声对比法的伪损失函数方法和解决缓存方案的方法，以优化组合优化问题的预测和优化方法中的训练时间和准确性的平衡。实验证明，该方法在计算成本的一小部分之内即可与现有技术匹配。

    Nov, 2020

  • 领域不变表示学习的中心矩差（CMD）

    本研究提出了一种新的正则化方法，通过匹配概率分布的高阶中心矩的差异来学习域不变的特征表示，实现域自适应。结果表明，这种方法在两个不同的基准数据集上均取得了最新的性能，并显示出稳定性。

    Feb, 2017

  • 通过对比学习重新审视推荐损失函数（技术报告）

    通过对比学习的成功启发，我们系统地研究了推荐系统损失函数，包括列表损失（softmax）、成对损失（BPR）和逐点损失（MSE 和 CCL）。在这个工作中，我们引入了带有平衡系数的 InfoNCE+，强调其性能优势，尤其是与我们的新解耦对比损失 MINE + 相结合时。我们还利用了去偏的 InfoNCE 来修正逐点推荐损失 CCL，称为去偏 CCL。有趣的是，我们的分析表明线性模型如 iALS 和 EASE 本质上是去偏的。实证结果证明了 MINE + 和去偏 CCL 的有效性。

    Dec, 2023

  • 通过超球面上的对准和均一性理解对比表示学习

    文章证明了反差编码的损失函数在无限时刻能够最优化归一化特征空间的相似度与均匀分布，并通过实验优化这两个特征的评估，在视觉和语言数据上显著提高效果。

    May, 2020

  • 监督对比学习剖析

    本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

    Feb, 2021

  • 使用感知相似度度量学习生成图像

    通过使用 better calibrated to human perceptual judgments of image quality: the multiscale structural-similarity score (MS-SSIM) 进行训练而不是使用 pixel-wise loss (PL)，提出了更好的 perceptually-optimized methods，已被证明在三种不同的自动编码器中表现更好，可以在图像分类和超分辨率成像方面为计算机视觉带来极大的潜力。

    Nov, 2015