- 变分自编码器中潜空间的自适应压缩
这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法，通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小，并将该方法与传统的超参数网格搜索进行比较，结果表明其速度显著更快，且在四个图像数据集上实现了最佳的维度。此外 - 通过可学习的图池化网络追踪模型解析的超参数依赖关系
通过学习超参数的依赖关系，将模型解析任务转化为图节点分类任务，利用图节点和边分别表示超参数和其依赖关系，提出了一种名为可学习图汇聚网络（LGPN）的新型模型解析方法，它还将自适应学习的超参数依赖关系扩展到了 CNN 生成图像检测和坐标攻击检 - 大规模语言模型指令调优的超参数优化
研究采用黑盒优化技术通过 LoRA 方法调优大型语言模型的超参数选择，以提高性能和人工对齐。
- 神经网络优化的通用代理
我们提出了一种名为 GANNO（Generalisable Agents for Neural Network Optimisation）的多智能体强化学习框架，通过动态和响应性地调整超参数来改进神经网络优化，实验结果表明该框架可以与手工调 - LiveTune: 动态参数调整用于深度神经网络训练
通过存储参数在系统的指定端口上并允许动态调整，我们提出了一个新的框架 LiveTune，允许在训练过程中实时调整参数，从而提供持续的训练会话。通过对我们的框架进行广泛评估，我们发现每次超参数改变可以节省高达 60 秒和 5.4 千焦的能量。
- 基于数据驱动的先验学习在贝叶斯优化中的应用
使用转移学习方法的贝叶斯优化，不再需要任务间有相似最优输入的强假设，而是只需假设优化空间的形状相似，通过学习高斯过程代理模型的超参数先验，能更好地逼近潜在函数，特别是对于少量函数评估。我们通过使用合成数据和最近的一个空气污染优化问题作为基准 - 自适应随机优化器的最佳超参数 $ε$ 探索：基于梯度直方图的方法
基于梯度直方图的新框架分析和证明自适应优化器的重要属性，包括最佳性能和超参数之间的关系和依赖性；同时，提出一种基于梯度直方图的新算法，可以自动估计减少且准确的搜索空间，用于寻找安全保护超参数 epsilon 的最佳值。
- 展现你的工作：调整曲线的置信区间
给出了一种构建有效置信带的方法，这些置信带可以清楚地比较自然语言处理中不同方法的性能，并且具有准确性和稳健性。
- 表格数据中新类发现的实用方法
通过调整超参数和使用未标记的已知类别来解决表格数据的新类别发现问题，并针对真实条件下进行了简化处理，以提供有效的解决方案。
- 用于系外行星凌星和 $H_0$ 推断的核化、均值化和噪声化边际高斯过程
使用完全贝叶斯方法将高斯过程回归扩展到包括核选择和核超参数的边际化。同时通过证据执行贝叶斯模型比较，实现了直接核比较。方法在合成数据和实际天体测量中得到了验证。
- 在轻松平滑条件下的参数无关优化
通过理论和实验证明，Normalized Stochastic Gradient Descent with Momentum 算法在没有先验知识的情况下可以实现（接近）最优复杂度，但复杂度中引入了一个依赖于 (L_1) 的指数项，这是不可避 - 缩小 Adam 迭代复杂度上界与下界之间的差距
本文通过导出 Adam 的新收敛保证来推翻现有 Adam 收敛的下界，并且证明当使用适当的超参数时，Adam 满足一阶优化器的下界和上界，为 Adam 的收敛性建立了严密的上界。
- 因果结构学习算法对超参数选择的稳健性
该研究论文探讨了超参数对因果结构学习任务的影响，并对不同复杂度的数据集上的一些经典学习算法的超参数选择进行了实证评估。研究发现，在集成设置下，超参数选择强烈影响算法的选择，选择不当的超参数可能导致分析人员使用无法为其数据提供最先进性能的算法 - Jorge：高效 GPU 二阶最优化的近似预处理
本文介绍了 Jorge，一种第二阶优化器，它通过省略矩阵求逆的计算，结合了第二阶方法的快速收敛性和第一阶方法的高计算效率。还提出了一种从 SGD 基准直接确定 Jorge 超参数的方法，从而显著减少调参工作。实证评估结果表明，在多个深度学习 - 无形地图：基于标志物的视觉惯性 SLAM 技术用于智能手机室内导航
使用智能手机创建建筑规模、易于导航的 3D 地图系统；以图形 SLAM 方式构建 3D 地图问题，并推断建筑地标和环境中可导航路径的位置；通过精心选择映射超参数和调整算法适应新环境的新技术来提高地图准确性。
- 卷积神经网络图像分类中的学习曲线估计策略与影响
通过估算模型的学习曲线，选择最佳模型进行全数据集训练，以减少培训时间。本文提出了一种框架和几种策略，并通过模拟学习曲线和图像分类任务的实验对这些策略进行了评估。
- 超参数自适应搜索用于代理优化的一种自调整方法
对于优化昂贵的黑盒函数，代理优化算法表现出了一定的潜力。然而，与采样和代理适配相关的超参数对其性能产生了很大影响，这给普及它们带来了挑战。我们研究了超参数对各种代理优化算法的影响，并提出了一种名为 Hyperparameter Adapti - 随机森林中超参数对变量选择的影响
随机森林 (RF) 在高维物质研究中的预测建模和变量选择方面具有很好的适用性。超参数在 RF 算法对预测性能和变量重要性估计的影响已被研究，然而，超参数对基于 RF 的变量选择的影响尚不清楚。本文使用理论分布和实验基因表达数据进行两个模拟研 - 多尺度储备计算学习噪声诱导的转变
利用噪声驱动的转换现象的机器学习模型，储层计算（一种递归神经网络）能够学习噪声引起的系统状态转换，通过调整关键的超参数，包括储层动力学的时间尺度，生成准确的转换时间和数量的统计数据，适用于多种系统和蛋白质折叠实验数据，表明机器学习方法可以捕 - 了解后训练量化对大规模语言模型的影响
大型语言模型中的参数数量、量化、超参数和推理速度的研究分析