performance collapse | BriefGPT

关键词performance collapse

搜索结果 - 8

关于大型语言模型在推理和规划任务上的自验证局限性
通过在三个领域（24 点游戏，图着色，STRIPS 规划）对 GPT-4 的表现进行实证研究，我们观察到自我评估导致性能显著下降，而外部验证则带来显著性能提升；然而，评估内容对系统性能并不重要，事实上，简单地使用一个可信的验证器重新提问可以
PDF5 months ago
AAAIIS-DARTS：通过精确测量候选重要性稳定 DARTS
对现有的神经网络架构搜索方法进行了研究，发现 DARTS 方法在寻找优秀子网络方面效率高且简单，但存在性能崩溃的问题，导致架构充斥着无需参数的操作，提出了 IS-DARTS 方法来解决这些问题，并通过理论和实验分析揭示了问题的根本原因和解决
PDF6 months ago
掩码自编码器是强大的神经架构搜索学习者
提出了一种基于遮蔽自编码器的新型神经架构搜索（NAS）框架，该框架在搜索过程中不需要标记数据。通过用图像重构任务替代监督学习目标，我们的方法能够在不损害性能和泛化能力的情况下，有效地发现网络架构。此外，我们通过引入多尺度解码器来解决在无监督
PDF7 months ago
RDumb：对连续测试时间适应的进展进行质疑的简单方法
TTA 技术在连续变化的扰动下的性能表现正在被热烈关注，我们提出了连续变化扰动基准（CCC）来测试 TTA 技术的渐近性能，并发现当前的 TTA 方法在避免崩溃和超越预训练模型方面的效果并不明显，实验表明简单的重置策略（RDumb）在所有考
PDFa year ago
ICLR$Λ$-DARTS：通过对单元进行操作选择的协调来缓解性能崩溃
通过理论和实证分析，发现 DARTS 算法中存在的权值共享框架以及极限收敛点限制了模型最优结构的选择，导致性能严重下降，提出了两个新的正则化项解决了上述问题。
PDF2 years ago
ICCVSingle-DARTS: 实现稳定体系结构搜索
本文提出 Single-DARTS，通过使用单级优化替换双级优化，显著减轻了性能坍塌，提高了体系结构搜索的稳定性，并在主流搜索空间上实现了最先进的性能。
PDF3 years ago
ICLR让可微架构搜索更少局部化
本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。
PDF3 years ago
ECCV公平 DARTS：消除可微架构搜索中的不公平优势
通过实验，揭示了 Differentiable Architecture Search 权重共享神经结构搜索的性能下降是由于竞争中的不公平优势导致的，并提出了 “公平 DARTS” 方法，在其中将独占竞争放松为合作。实施了零 - 一损失来推
PDF5 years ago