performance degeneration | BriefGPT

关键词performance degeneration

搜索结果 - 6

ICML梯度正则化何时会有害？
本文揭示了梯度正则化（GR）在自适应优化场景中可能导致性能下降的问题，并提出了三种 GR 热身策略来解决这些问题，实验证实这三种策略能够大幅提高模型性能。
PDF22 days ago
基于影响函数的二阶通道修剪 - 无需重新训练即可评估修剪的真实损失变化
优化通道修剪方法，通过重新评估损失的变化来选择更可靠和自信的通道修剪，以及开创出一系列不同于现有修剪方法的新范例。
PDFa year ago
强化器还是滤镜？重新思考预训练语言模型在文本分类增强中的作用
本研究提出 BOOSTAUG，这个基于预训练语言模型的文本增强方法重点在于增强实例过滤，而不是生成，解决现有文本增强方法中的性能下降和特征空间漂移等问题。结果表明，在句子级文本分类和基于方面的情感分类上，BOOSTAUG 均取得了最先进的性
PDF2 years ago
EMNLP向更真实的对话状态跟踪迈进：包括回退话语
研究表明，当前的基准数据集不足以处理在谈话中改变主意的情况，当 template-based 的 turnback utterances 注入到数据集中时，DST 模型无法参考之前的用户偏好，导致性能显著下降，但是当这些场景在训练集中被明确
PDF3 years ago
神经网络量化的高效训练方法
提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模
PDF5 years ago
通过无标签实例的选择来改善半监督支持向量机
本文提出了一种 S3VM-us 方法，使用分层聚类选择无标签实例，以减少 S3VMs 的性能退化机会，在广泛的数据集上进行实验表明，S3VM-us 的性能退化机会远小于现有的 S3VMs。
PDF14 years ago