model diversity | BriefGPT - AI 论文速递

关键词model diversity

搜索结果 - 7

预训练模型是否能在数据集精炼中提供帮助？
数据集精炼（DD）是一种将大规模原始数据集的知识封装到小型合成数据集中进行高效训练的突出技术。与此同时，预训练模型（PTMs）作为知识库具有从原始数据集中获取的广泛信息。我们通过初步实验验证了 PTMs 对 DD 的贡献，然后系统研究了 P
PDF9 months ago
利用扩散分解表示缓解不完全规定的视觉任务中的捷径
通过使用扩散概率模型生成合成的反事实情况，我们提出了一种集成多样化框架，用于处理数据中的错误相关性和捷径学习现象，实验证明扩散引导的多样化能够使模型避开捷径线索，获得与额外数据采集方法相当的集成多样性性能。
PDF9 months ago
ACLCAMERO: 具有权重共享的扰动语言模型一致性正则化集成
CAMERO 是基于扰动模型的一种一致性正则化集成学习方法，它能在保持低内存成本的同时保留集成优势，并通过引入扰动和预测一致性正则化来促进模型多样性和控制方差，实验表明 CAMERO 能够显著提高 8 个 BERT-base 模型标准集成在
PDF2 years ago
从集成学习中学习时，多样性非常重要
通过对集成方法进行扰动，可以增加模型多样性并提升性能。
PDF3 years ago
ICML神经网络优化中的不确定性和不稳定性
本文实验性地研究了神经网络优化的不确定性，证明了所有不确定性来源都对模型多样性具有类似的影响，这是因为模型训练的不稳定性是决定性的因素，并提出了两种减少波动性的方法。
PDF3 years ago
使用结构化随机失活进行卷积神经网络置信度校准
通过集成学习，本文探讨使用结构化 dropout 方法以促进模型多样性和提高置信度校准。在三个数据集中对比了多种 dropout 技术的模型多样性和置信误差，并在贝叶斯主动学习案例中验证了结构化 dropout 方法的优势。
PDF5 years ago
MotherNets: 快速深度集成学习
该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。
PDF6 years ago