BriefGPT.xyz
大模型
Ask
alpha
关键词
representation space
搜索结果 - 24
准备教材：利用更好的监督改进知识蒸馏
本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。
PDF
5 years ago
使用软最近邻损失进行表示分析和改进
本文研究了 $ extit {Soft Nearest Neighbor Loss}$ 在表示空间中用于测量类流形间的 $ extit {entanglement}$，发现在隐藏层中最大化不同类别表征的 $ extit {entanglem
→
PDF
5 years ago
ICLR
解码解码器：为无监督相似性任务找到最佳表示空间
简单模型在无监督相似性任务中优于复杂深度网络的实验证据，本文提供了一种基于最佳表示空间的简单而严格的解释，介绍了一种直接的方法，使深度复发模型（DRM）在不重新训练或结构修改的情况下，达到与浅层模型同等或更优的表现。
PDF
6 years ago
ICLR
自适应密度判别度量学习
本文针对之前的距离度量学习算法中存在的一些问题，提出了一种通过分布模型在表示空间中自适应评估相似性，并通过惩罚类别分布重叠实现局部判别的新方法，在多项任务上取得了最新的分类结果，并提高了所学表示的属性集中度和层次恢复能力。
PDF
9 years ago
Prev
Next