- 基于图学习的双图卷积网络用于半监督节点分类与子图草图
我们提出了基于经典的图卷积神经网络的图学习双图卷积神经网络 GLDGCN，并将其应用于半监督节点分类任务，在 Citeseer、Cora 和 Pubmed 三个引文网络上取得了更高的分类准确率，同时分析和讨论了超参数和网络深度的选择。我们还 - 原生语言的 ASR 进展：Quechua, Guarani, Bribri, Kotiria 和 Wa'ikhana
我们通过爬取广泛的语音语料库并应用数据增强方法，为五种土著语言（Quechua、Guarani、Bribri、Kotiria 和 Wa'ikhana）提供了可靠的自动语音识别（ASR）模型，其中包括 Wav2vec2.0 XLS-R 模型的 - 用傅立叶神经算子优化多目标超参数和架构的洋流动力学建模
利用 DeepHyper 的高级搜索算法优化深度学习模型的超参数选择，尤其针对海洋模拟进行数据驱动建模，以提高模型精确性。实验结果显示，优化后的超参数集在单时间步预测中改善了模型性能，并在长时间范围内的自回归预测中大幅超过了基线配置。利用 - KDD基于概率的时间序列预测中多层感知器神经网络的超参数调优
我们的研究主要关注于考察与时间序列相关的特定超参数（如上下文长度和验证策略）对时间序列预测中最先进的 MLP 模型性能的影响，通过对 20 个时间序列预测数据集进行了 4800 种配置的广泛实验，我们的研究结果表明这些参数的调整对性能至关重 - 利用粒子群与蚁群优化进行神经架构搜索
使用 OpenNAS 开源工具结合粒子群优化和蚁群优化算法进行神经网络模型的训练和优化，实验证明粒子群优化算法（PSO）在生成更高模型准确度方面的表现优于蚁群优化算法（ACO），尤其在复杂数据集上效果显著，同时也评估了微调预训练模型的性能作 - 零成本基准测试下异步多保真度优化的快速基准测试
深度学习研究中，超参数选择对结果产生重要影响，然而深度学习训练的耗时性质使得超参数优化变得昂贵，本文提供了一个用户友好的 Python 包，利用零成本基准测试实现了高效并行的超参数优化，通过文件系统中的信息计算返回顺序，从而消除了长时间等待 - 合成少数类过采样技术（SMOTE）的量子方法
本文提出了量子 SMOTE 方法，该方法利用量子计算技术解决了机器学习数据集中存在的类别不平衡问题。通过使用交换测试和量子旋转等量子过程，Quantum-SMOTE 生成合成数据点，从而使得少数类数据点能够产生合成实例，而无需依赖邻近性。算 - 有原则的考虑架构的超参数缩放
通过对神经网络架构的深入研究，在初始化和学习率方面提出了新的原则，并验证了其对网络性能的改进，从而为当前架构设计的基准测试提供了新的方法。
- 极小化极大优化的 SDEs
利用随机微分方程分析和比较最小化最大化优化器的 SDE 模型，揭示超参数、隐式正则化和隐含的曲率诱导噪声之间的相互作用，并以简化的设定推导出收敛条件和闭式解，进一步揭示不同优化器行为的见解。
- LLM 通过超参数感知生成实现自我调节
通过利用自动调参指令调节，我们提出了一种新的文本生成范式 —— 超参数感知生成（Hyperparameter Aware Generation，HAG）模型，能够让大型语言模型（LLMs）自主决定最佳的解码策略和配置，实现自我调节的行为。实 - ACL当为自然语言处理任务微调预训练 Transformer 模型时，是否应该尝试多个优化器？是否需要调整其超参数？
通过实验发现，当优化器的超参数调整后，复杂的自适应优化器在测试性能上并没有实质性的差异，而仅调整学习率在大多数情况下就能达到与调整所有超参数相当的效果，因此建议选择最佳性能的任何自适应优化器，并仅调整其学习率。当无法调整超参数时，SGD w - 神经网络可训练性的边界是分形的
通过实验，我们发现神经网络的超参数边界在所有测试配置中在超过十个数量级的尺度上呈现分形特征。
- 隐式逐步优化中动量在平滑目标函数中的作用
随机梯度下降 (SGD) 与动量在收敛性和泛化能力方面具有快速收敛和优秀的表现，但缺乏理论解释。本文证明了 SGD 与动量使目标函数平滑化，平滑程度由学习率、批量大小、动量因子、随机梯度的方差和梯度范数的上界决定。这一理论发现揭示了动量为何 - 超出长度：没有遗憾的贝叶斯优化与任意类型的未知超参数
我们提出了第一个在未知超参数情况下具有无悔性特性的算法 HE-GP-UCB，并支持贝叶斯和频率两种设置。
- 一种统一的高斯过程用于分支和嵌套超参数优化
基于新的高斯过程模型和具有新内核函数的统一贝叶斯优化框架，通过一系列合成模拟和实际数据应用的神经网络，观察到更高的预测准确性和更好的优化效率，并执行敏感性分析以提供有关超参数值变化如何影响预测准确性的见解。
- 改善差分隐私线性学习器的目标扰动的隐私性和实用性
在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与 DP-SGD 具有竞争力。
- EMNLPLLM 决策能力的敏感性探究：来自提示变异和超参数的洞察
大型语言模型在决策任务中的表现与输入提示和超参数有关，并显示出与人类相似的探索和开发权衡。
- 意识分配参数优化 (POCA)
现代机器学习算法的性能取决于一组超参数的选择。Auto-ML 是优化的一个分支，在这一领域中，基于超带宽的方法是最有效的，而 Parameter Optimization with Conscious Allocation (POCA) 是 - 多进程数据分类
本文研究了如何通过并行训练不同超参数的分类算法来减少执行时间，并使用 Python 多进程来测试这一假设，通过集成所有进程的预测来提高准确性。结果表明，集成方法提高了准确性，多进程减少了执行时间。
- 大型视觉语言模型的少样本自适应研究
通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。