overfitting | BriefGPT - AI 论文速递

关键词overfitting

搜索结果 - 365

MT2ST：自适应多任务到单任务学习
传统的训练方法在多任务学习 (MTL) 的广度与单任务学习 (STL) 的深度平衡方面常常面临挑战。为了解决这个问题，我们引入了多任务到单任务 (MT2ST) 框架，一种创新的方法，可以将 MTL 的普遍性与 STL 的精确性相结合。我们的
PDF6 days ago
X 射线简化：用通俗语言生成和评估放射学报告
通过引入一个以外行人术语为基础的数据集、评估和训练框架来系统地改进放射学报告生成 (RRG)，以解决现有用于评估 RRG 的词汇基准度量方法（如 BLEU）的问题，该方法的高性能可能只是一个幻觉。我们提出了一个基于语义的评估方法，并证明其可
PDF7 days ago
点云法线估计的非对称孪生网络
通过应用合理的约束条件，我们在干净点云和有噪点云上学习得到的内在特征的一致性，提出了一种改进正常估计质量的方法，并引入一个包含不同噪声级别的多视角正常估计数据集，通过评估现有方法在该数据集上的表现发现其过拟合问题，持久实验证明了我们的特征约
PDF18 days ago
神经网络参数在训练过程中的信息几何进化
应用信息几何框架研究人工神经网络（ANN）训练过程中的相变行为与过拟合之间的关联，通过研究 ANN 参数的概率分布，利用差分几何原理构建概率分布函数的黎曼流形，观察到 ANN 在训练过程中在流形上的运动发生相变，该相变与 ANN 模型的过拟
PDF25 days ago
PESQetarian：关于 Goodhart 定律对语音增强的相关性研究
通过对音频增强模型进行评估指标的分析，本篇论文旨在揭示将音频增强模型过度拟合于评估指标可能带来的风险，以及如何利用其他评估指标来确认性能预测。
PDFa month ago
ICML基于提示的零样本策略转移中的视觉对齐
通过 prompt-based visual alignment (PVA) 框架中的语义信息作为显式约束，可以缓解图像中的有害领域偏见，实现零次策略转移，并在有限域数据的情况下实现跨领域学习。
PDFa month ago
机器学习及其之后的遗忘：一项调研
这份论文调查了机器学习中遗忘的多方面本质，从神经科学研究中得出结论，认为遗忘是一种适应性功能而非缺陷，它能增强学习过程，防止过拟合，并与各种机器学习子领域的应用联系，以提高模型性能和增强数据隐私。此外，本文还讨论了将遗忘机制整合到机器学习模
PDFa month ago
通过集群网络信息准则（NICc）快速进行离群交叉验证
本研究介绍了一种网络信息准则（NICc）的聚类估计器，用于近似一类群交叉验证离群排除差异。实验结果表明，与 AIC 和 BIC 相比，NICc 更准确地选择模型，并在模型选择中更有效地防止过拟合。
PDFa month ago
奥卡姆梯度下降
通过应用学习理论，我们提出了 Occam 梯度下降算法，同时降低神经网络的拓扑结构大小和权重，从而在准确度、计算和模型压缩方面优于传统梯度下降算法。
PDFa month ago
Grokfast：通过增强慢梯度加速洞察力的理解
对于机器学习中的一个令人困惑的伪现象，即迟滞推广现象，我们通过将参数的一系列梯度作为随时间变化的时间随机信号进行频谱分解，加速了该现象，并提出了少量代码来放大梯度的缓慢变化部分，其中实验表明我们的算法适用于涉及图像、语言和图形的各种任务，使
PDFa month ago
基于点互信息的真实数据集估值
提出了一种新的数据评估方法，通过使用合适的评分规则和点间互信息测量来保证数据供应商总是通过真实报告观测到的数据来最大化他们的预期得分，该方法在贝叶斯机器学习环境中引入了一种新的点间互信息测量方法，证明了它在鲁棒性和对过拟合敏感性方面的优越性
PDFa month ago
不断增长数据的自适应数据分析
数据重复使用中存在过拟合和统计结果的有效性方面的挑战。过去的研究表明，通过不同 ially private 算法与数据交互可以减轻过拟合，实现最坏情况下的泛化保证，并具有渐近最佳的数据要求。然而，之前的工作假设数据是静态的，无法适应数据随时
PDFa month ago
回归中进化特征构建的锐度感知最小化
通过使用 PAC-Bayesian 理论中的 sharpness-aware 最小化方法，在语义空间中寻找表现稳健的符号特征，该方法能够有效减轻遗传规划的过拟合问题，并在限定实例数量和标签噪声存在的情况下表现优于标准遗传规划和其他先进的复杂
PDF2 months ago
利用机器学习检测移动物体
太阳系小天体的科学研究最终从对这些天体的搜索开始。本章对使用机器学习技术在天文图像中寻找移动天体（包括自然和人造天体）的方法进行了综述。综述包括了传统非机器学习技术的简要回顾以及相对不成熟的机器学习文献中的三大类方法：流迹检测、图像序列中移
PDF2 months ago
异构和长尾数据上的多层个性化联邦学习
MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。
PDF2 months ago
探索基础小说混淆：针对少样学习的冗余探索
少样本类增量学习 (FSCIL) 的研究旨在从有限的样本中获取关于新类的知识，同时保留关于基类的信息。本文通过定量和定性实验，探究了新类与基类的碰撞现象，发现基类特征和像素空间中的冗余是碰撞的主要原因。基于此分析，为了减轻基类与新类之间的碰
PDF2 months ago
谐波机器学习模型的鲁棒性
用 Harmonic Robustness 方法测试机器学习模型的鲁棒性，无论是在训练过程中还是在黑盒实时推断监控中，该方法基于与谐波均值属性的功能偏差，表明其不稳定性和缺乏可解释性。通过在低维树和前馈神经网络中进行实现示例，该方法可可靠地
PDF2 months ago
多头专家混合
多头专家混合模型 (MH-MoE) 使用多头机制将每个令牌拆分为多个子令牌，并并行分配给和处理多样的专家集，然后无缝地重新集成到原始令牌形式，从而增强了训练中的专家激活，深化了上下文理解，减轻过拟合，同时易于实施和与其他 SMoE 模型集成
PDF2 months ago
LoRA 丢弃法作为过拟合控制的稀疏正则化器
本文提出了一种 LoRA Dropout 机制，通过向可学习的低秩矩阵引入随机噪声和增加参数稀疏性，从稀疏正则化的角度证明了 LoRA Dropout 机制的理论机制，并提供了在该框架下的泛化误差界限。理论结果表明适当的稀疏性可以帮助缩小经
PDF3 months ago
条件下的原型修正提示学习
利用大规模的预先训练的视觉语言模型，通过高效的迁移学习方法解决基类过拟合问题，提出了一种条件原型纠正提示学习方法，有效地纠正了基类示例的偏差并增加了有限数据量，在少样本分类和从基类到新类的泛化任务中实现了最先进的性能。
PDF3 months ago