BriefGPT.xyz
大模型
Ask
alpha
关键词
task loss
搜索结果 - 6
任务驱动的度量学习模型训练
通过在预测空间中学习度量，在不改变最优预测模型本身的情况下，改变模型的学习方式以强调对下游任务重要的信息，从而实现针对预测任务和下游任务的最佳结果。
PDF
7 months ago
ICCV
DOT：一种面向蒸馏的训练器
本文提出 Distillation-Oriented Trainer (DOT)，以在知识蒸馏任务中优化任务丢失和蒸馏丢失之间的权衡，通过应用更大的动量来加速蒸馏损失的优化，以获得更好的任务损失和蒸馏损失的优化，并通过广泛实验证明了 DOT
→
PDF
a year ago
ICML
关于域对抗训练中平滑性的深入探究
本文对平滑性增强公式对于领域对抗训练的影响进行了分析，发现通过对任务损失和对抗项的平滑最小值进行收敛来稳定对抗训练可以在目标领域获得更好的性能。作者介绍了 SDAT 过程，该过程有效地提高了现有领域对抗方法的性能，同时提供了 SGD 在领域
→
PDF
2 years ago
ICML
自适应取整的后训练量化：向上或向下？
本文提出了 AdaRound，它是一种更好的后训练量化权重舍入机制，能够适应数据和任务损失，不需要对网络进行微调，并且只使用少量无标签数据。
PDF
4 years ago
ACL
具有鉴别性聚类嵌入的小型文本分类器
通过学习硬词聚类并使用 Gumbel-Softmax 分布最大化潜在聚类并最小化任务误差，我们减少了神经自然语言处理方法中嵌入参数的模型大小。我们提出了一些变体，可以选择性地为单词分配额外的参数，从而在仍然保持参数有效的情况下进一步提高准确
→
PDF
5 years ago
COLING
神经网络时间关系分类的词级损失扩展
本文介绍了一种利用无标签文本数据的无监督预训练词向量，通过加入未监督辅助损失（unsupervised auxiliary loss）来扩展分类模型的任务损失，确保学习到的词表示包含了从监督损失组件中学到的 task-specific 特征
→
PDF
6 years ago
Prev
Next