- 下游微调的预训练模型建议
本文提出了一个实用性框架 Fennec,通过将所有模型和历史任务映射到一个 transfer-related 子空间中,以判断他们之间的可迁移性,并通过一个大型视觉模型来推断新任务在 transfer 空间中的表示,最后通过 rigorou - TinyLLaVA:一个小规模大型多模态模型的框架
通过 TinyLLaVA 框架的研究与实验,我们发现数据的质量、训练配方和模型选择对于设计和分析小规模的大型多模型模型非常重要;通过将更好的数据质量和更好的训练配方相结合,我们发现较小规模的模型可以与更大规模的模型达到相当的性能,这些发现可 - 在奇异点下的学习:一种改进 WBIC 和 sBIC 的信息准则
我们引入了一种新颖的信息准则(IC),称为孤立学习(LS),用来增强广泛适用贝叶斯信息准则(WBIC)和奇异贝叶斯信息准则(sBIC)的功能。LS 在没有正则约束的情况下有效,并表现出稳定性,通过将广泛适用信息准则(WAIC)的经验损失与 - 通向多功能图学习方法:基于大型语言模型的视角
本文提出了一种使用大型语言模型设计多功能图学习方法的新概念原型,重点关注了 “在哪里” 和 “如何” 的角度,总结了四个关键的图学习过程,并探索了大型语言模型在这些过程中的应用场景,最后指出了更好利用大型语言模型的发展方向。
- 模型评估与选择在时间分布转移下
我们通过综合当前时期和历史时期的数据集,研究模型评估和选择在变化环境中的情况。为了应对未知且可能随机的时间分布转移,我们开发了一种自适应滚动窗口方法来估计给定模型的泛化误差。该策略还通过估计两个候选模型的泛化误差差异来方便比较。我们进一步将 - 文本生成的标签有效模型选择
DiffUse 是一种高效的方法,可在候选文本生成模型之间做出明智决策,降低了所需的偏好注释数量并提高了评估可靠性。
- 一种带有演化操作的赌博机方法进行模型选择
该研究论文将模型选择问题视为无限臂赌博机问题,通过部分训练(资源分配)选择模型,准确率作为奖励,最佳模型与最终选择模型之间的期望准确率差异作为遗憾,提出了一种基于进化算法的新型组合方法 Mutant-UCB,通过在三个开源图像分类数据集上的 - 低资源场景中 PoS 标注器模型的建模
在资源匮乏的情景下,我们评估了早期学习曲线估计作为选择在非深度学习者应用的最适模型的实用机制,以提高性能并控制成本。使用西伊比利亚 - 罗曼斯语族中的加利西亚语作为案例研究,实验结果与我们的预期一致。
- 非主动自适应采样中的绝对收敛和误差阈值
通过计算绝对收敛和误差阈值,支持决策制定,为模型选择中的学习参数微调提供支持,强化采样方案的鲁棒性。
- MT-HCCAR:基于多任务深度学习的云属性检索中的分层分类和注意力回归
本论文提出了 MT-HCCAR 模型,通过多任务学习同时处理云掩蔽、云相分类和云光学厚度(COT)预测,并结合层次分类网络(HC)和分类辅助注意力回归网络(CAR),提高云标签和 COT 预测的精度和稳健性。通过 K 折交叉验证、一个标准误 - 绿色跑者:高效的深度学习组件选择工具
通过大语言模型的推理能力,本研究提出了一种新颖的工具 oolname,可以基于自然语言提供的应用场景自动选择和评估模型,并通过将问题描述中的约束和权衡因素整合到模型选择过程中来实现资源高效的实验引擎。初步评估结果表明,与临时评估和蛮力方法相 - 表格数据的自动模型选择
该研究论文提出了两种自动化模型选择方法,分别是基于优先级的随机网格搜索和贪婪搜索方法,应用于包含特征交互的表格数据集,有效捕获预测性特征组合。
- 从嘈杂且不完整的数据中学习网络传播模型
基于可扩展的动态传递消息技术,介绍了一种通用学习方法,用于从真实数据中学习传播模型的网络结构和参数,并解决了未知网络结构、噪声数据、缺失时间观测以及最小化所需样本数量的模型选择等挑战。
- AutoXPCR: 自动化多目标模型选择的时间序列预测
自动化机器学习(AutoML)简化 ML 模型的创建,提出 AutoXPCR 作为一种自动且可解释的多目标模型选择方法,基于 PCR 标准(预测误差、复杂性和资源需求)利用元学习评估模型性能,应用于时间序列预测领域,优于其他模型选择方法,并 - 基于预测性变分自编码器的时间序列数据鲁棒表示学习
利用预测时间下一节点以及基于时间平滑性的模型选择度量,我们提出了一种能够减轻 VAE 学习虚假特征,并能在合成数据集中准确恢复潜在因素的 VAE 架构。
- 测量大型语言模型的表示相似性
对大型语言模型之间的相似性进行了研究,发现有些模型之间存在显著的差异。揭示了使用相似性评估得出虚假结论的挑战以及需要进行仔细研究的必要性。
- 您需要多少验证标签?探索标签效率模型排序的设计空间
通过使用 LEM 框架,我们在各种选择度量标准的基础上进行了系统研究,证明 LEMR 能够以很小的标注预算达到与完全标注数据集相当的结果,从而在弱监督和半监督学习设置中节约标注成本,并有效地指导大型语言模型的提示选择。
- 关于可靠机器学习的基准模型多样性的实证研究:图像分类案例研究
通过对可信度的多维度模型设计和其对一系列可靠度指标的影响进行一站式的经验基准测试,我们的研究暴露了深度学习模型的过参数化现象导致的模型多样性,这需要在模型选择过程中增加额外的规范以避免意外的失败,并为这种多样性提供影响和趋势的可行性建议。
- 交叉验证与突变验证在模型选择中的经验比较
通过比较变异验证方法和 k 折交叉验证方法,我们发现两种方法在选择模型的泛化性能上表现相当,但变异验证方法在选择简化模型和计算成本方面具有优势。然而,在某些情况下,变异验证方法选择过于简化的模型,导致欠拟合,并在超参数选择方面表现不稳定。
- 在机器学习项目中,通过偏差检测拓展具有可变性感知的模型选择
该论文描述了将一个具有偏差检测的自适应可变性感知模型选择方法扩展到机器学习项目中的工作,该方法通过使用基于文献中提出的启发式方法的特征模型来对影响模型选择的因素的可变性进行建模,并在一个特定的案例研究中进行实验证明了该方法的有效性,并为机器