- 高效的双阶高斯过程回归 —— 自动核搜索和子采样
通过引入灵活的两阶段高斯过程回归框架、自动核搜索算法、子采样启动策略和精确与可伸缩两种方法，本研究提出了一种泛用框架来解决 GPR 中的表示偏差、核函数错误和超参数错误问题，并在真实世界数据集上进行了广泛评估，验证了方法的鲁棒性和精确性。
- 一种新的可靠且简约的学习策略，由两层高斯过程构成，以解决非均匀经验相关结构
通过将函数模型为非平稳高斯过程的样本函数，学习一对变量之间的功能关系，解决可用数据的相关结构的不均匀性问题，并在其中嵌套多个高斯过程，从而建立了两个高斯过程层的充分性。
- HyperPredict：对可变形图像配准中实例特定正则化的超参数效果进行估计
该研究提出了一种名为 HyperPredict 的方法，它使用多层感知器在没有标记数据的情况下评估超参数的影响并选择最佳值，以选择特定图像对的最佳超参数进行注册，该方法在脑部医学影像数据集上表现出良好性能。
- LLMs 是否能配置软件工具
使用大型语言模型来改进软件配置过程，特别是在超参数配置方面，通过识别起始条件和缩小搜索空间，提高效率。在大量实验中发现，LLM 生成的响应的可变性以及基于领域特定关键词的一致行为，揭示了 LLM 在初始化过程和配置优化方面的潜力，但也强调了 - 基于梯度的双层优化用于多罚项岭回归的矩阵微分计算
本研究探讨了线性回归中带有 L2 正则化的问题，每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数，通过计算交叉验证准则相对于正则化超参数的梯度，使用矩阵微分学进行解析计算。此外，我们引入了两种针对稀疏模型学习问 - 通过关键动量促进记忆增量 Adam 中的探索
提出了一种新的 Adam 的记忆增强版本，通过在训练过程中使用关键动量项的缓冲区，推动探索更平坦的最小值，从而提高了标准监督语言建模和图像分类任务的性能。
- KDD协同过滤的高效联合超参数和架构搜索
利用自动机器学习技术自适应设计协同过滤模型的研究，提出了一种综合考虑超参数与架构搜索的算法，通过筛选有用的超参数选择来减少搜索空间，以及通过两阶段搜索算法来高效地找到适当的配置，实验证明了该算法在真实数据集上的优越性。
- 利用机器学习进行肝部感染预测分析，以评估神经网络的分析性能和优化技术
ML algorithms and machine learning optimization are used to evaluate different liver illness datasets and identify the m - 稀疏和密集神经网络小批量大小的相变
本研究在教师 - 学生模型下，以不同复杂度的任务为研究对象，探究了小批量训练方式对两层神经网络学习的影响。结果发现，小批量大小对学生的泛化性能有显著影响，当小批量大小小于阈值时，学生无法学习；而当小批量大小大于阈值时，学生可以完美学习或非常 - 我们需要谈论随机种子
该论文分析了现代神经网络库中随机种子的使用，论述了其安全和危险的用法，并通过对 ACL 文献集的分析发现，超过 50％的论文使用了随机种子的危险用法。
- 关键词检索的延迟控制
论文提出了一种控制关键词检测模型延迟的新方法，通过一个参数可以平衡检测延迟和准确性，并且在与现有方法对比时表现更好，可以在一定的延迟目标下，显著地提高虚警率。
- 使用模型自由深度强化学习实现基于模型的强化学习中自适应的展开步长
本文将调整 rollout length 作为元策略决策问题，通过动态改变超参数来优化在固定环境互动预算下通过模型强化学习学习到的最终策略，使用深度强化学习解决元策略决策问题，并在两个常见的强化学习环境中展示了其优势。
- 改进 Mahalanobis 距离以提高近 OOD 检测的简单修复
研究提出一种名为相对马氏距离（Relative Mahalanobis Distance）的改进方法，相对于原有的 Mahalanobis 距离，在检测神经网络模型中的近似样本（Near-OOD Detection）和超参数选择上表现更好， - ICML在线自动机器学习的 ChaCha 算法
本文提出了一种名为 ChaCha 的算法，用于在线学习环境下进行超参数的选择和优化，ChaCha 利用样本复杂度限制确定冠军并调度一组实时的挑战者，经过应用程序相关的冠军的 oracle 确认最佳的配置后保证具有亚线性遗憾。在实验中，我们表 - KDDHyperboost: 通过梯度增强替代模型进行超参数优化
本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。
- 成本感知贝叶斯优化
Cost Apportioned BO aims to minimize an objective function as efficiently as possible by combining a cost-effective init - 利用 Focal Loss 对深度神经网络进行校准
本文研究神经网络中误差校准问题，并提出了使用 Focal Loss 和温度缩放的方法，通过自动调整超参数来实现良好的校准，同时在多个计算机视觉和自然语言处理数据集上进行广泛的实验，证明了该方法可以在不损失准确率的情况下获得实现真正校准预测的 - Few-Shot Learning 中的 Shot 数量理论分析
本文研究了现有少样本分类方法，提出了一种鲁棒性较好的方法来应对培训数据量和测试数据量不匹配等情况。该方法通过理论分析，将嵌套式学习（meta-learning）与原型网络（Prototypical Networks）相结合，以研究最佳 “S - 用优化几何表征隐含偏见
研究了通用优化模型，如镜像下降、自然梯度下降和最速下降在欠定线性回归或可分线性分类问题上的隐式偏差以及关于算法得到的特定全局最小值是否可以独立于超参数选择，如步长和动量，用优化几何势或范数表征。
- ICML利用任务硬注意力克服灾难性遗忘
本文提出了一种基于任务的硬注意机制，利用随机梯度下降学习硬注意掩码来保留上一个任务中的信息而不影响当前任务的学习，有效提高神经网络在顺序学习能力上的性能。此方法对不同超参数的选择也具有鲁棒性，并且具有控制学习知识稳定性和紧凑性等特点，在在线