- 遵循指导中的长度限制
训练能够在推断时受到长度约束的指令控制模型，通过指令被控制的长度评估表现优于标准的指令跟随模型，如 GPT4、Llama 3 和 Mixtral。
- 图神经网络用于工作车间调度问题的综述
此篇综述主要介绍了图神经网络在解决调度问题中的应用，探讨了不同类型的作业车间调度问题和流水车间调度问题，并重点研究了深度强化学习方法。通过介绍图表示和常用的图神经网络架构，作者回顾了各种问题类型的 GNN 方法，在图表示、图神经网络架构、G - RLHF 揭示：对于 LLMs 的强化学习从人类反馈的关键分析
通过强化学习原理的角度分析了强化学习来自人类反馈的语言模型的基础，重点关注了奖励模型作为 RLHF 核心组件的建模选择、函数逼近的陷阱，以及它们对训练算法的影响，同时揭示了当前方法的局限性。通过对现有文献的分类评论，我们对 RLHF 的挑战 - 端到端条件鲁棒优化
将机器学习和优化整合到上下文优化领域以解决决策问题，通过结合不确定性量化与鲁棒优化提高高风险应用的安全性和可靠性，通过巧妙使用可微分的逻辑回归层在训练损失中计算覆盖质量，实现了高质量的条件覆盖，从而训练算法产生了优于传统估计和优化方法的决策 - 包含符号层的深度神经网络中的符号正确性
通过引入符号层，神经符号深度神经网络（NS-DNN）结合了感知和逻辑推理的人工智能任务，我们确定并形式化了一个直观的高层原则：符号正确性，该原则可以指导 NS-DNN 的设计和分析。我们证明符号正确性是 NS-DNN 可解释性和迁移学习的必 - 地下停车场模拟场景中 AVP 算法训练评估探讨
通过预先输入的 2D 地下停车场结构计划，本研究提出了一种自动生成具有不同难度级别的 3D 地下车库模拟场景的方法。
- 训练回归型 MLP 神经网络的免于局部最小值的算法
这篇文章介绍了一种创新的方法来训练回归 MLP 网络，该方法不受局部极小值的影响，通过基于训练集分布特性或更好地说是神经网络内部的图像来避免局部极小值问题，并通过一个著名的基准测试展示了算法的性能。
- 神经量子支持向量机
我们引入了四种用于训练神经支持向量机的算法，并证明了它们的可行性。在本文章中，我们引入了神经量子支持向量机，即使用量子核的 NSVM，并将我们的结果扩展到该设置中。
- 用于神经支持向量机训练的算法
通过引入域知识，使用 Pegasos 算法为 NSVMs 提供一组训练算法，并通过解决一组标准机器学习任务展示其概念验证。
- 朝着对独立子网络训练的更好理论理解
本文介绍了一种名为 Independent Subnetwork Training（IST）的高效神经网络模型并行化技术，其与压缩通信的分布式方法有着基本差异，在解决分布式大规模神经网络模型训练中的通信与计算问题上具有良好的优化性能。
- InRank: 增量低秩学习
该研究提出了渐进式低秩学习技术，通过一个新的训练算法 InRank 来改进神经网络的训练，使得神经网络参数化后低秩化，以此提高计算效率并在 WikiText-103 上训练 GPT-Medium 模型时分别实现了 20% 的减少训练时间和 - 利用传统循环神经网络进行基于脉冲的计算
本文中，我们尝试一种对称方法：我们通过修改一种易于训练的循环神经网络的动力学来使其基于事件。这种新型 RNN 单元，称为 Spiking Recurrent Cell，因此使用事件即 spike 进行通信，同时可完全区分化。因此，可以使用基 - 机器学习模型在实际中的稳健性、评估与适应性
通过培训算法来提高对于机器学习领域的可靠性，从而应对领域的变化，提高算法的性能，预测其表现并轻量级适应应用领域。
- 分布式图神经网络训练：综述
这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN - 学习神经状态空间模型：是否需要状态估计器？
本文对神经状态空间模型的系统识别算法的学习问题进行了深入的研究，探讨了初始状态估计的选择和作用，并在两个系统识别基准测试上进行了大量实验和分析，表明高级初始状态估计技术对于某些类型的动态系统需要实现高性能，而对于渐近稳定的系统，则基本过程， - KDD训练深度神经网络的自适应学习率和动量
本文提出了一种基于非线性共轭梯度框架的快速训练方法，采用二次线搜索和动态更新动量因子的方式，该方法能够更快地收敛且避免了繁琐的超参数手动调整。实验结果表明该方法在图像分类数据集上的广义能力比其他本地求解器更好。
- 隐式偏差对于对角线线性网络 SGD 的影响：随机性的证明性效益
本文研究了随机梯度下降在对角线线性网络上的动态规律，证明了它比梯度下降的解具有更好的泛化性能，并发现收敛速度控制偏见效应的大小，结果支持了结构化噪声可以引起更好泛化性能的理论结论。
- ICCV对比自监督表示学习流程的对比
该篇论文从训练算法、预训练数据集和最终任务的角度分析了自监督表示学习的最成功和最流行的变体 - 对比式学习，探究了各种问题，包括自监督模型与监督模型的性能比较，用于评估的当前基准，以及预训练数据对最终任务性能的影响。
- 具有直接反馈校验的差分隐私深度学习
本文提出了一种新的针对深层神经网络的差分隐私训练方法：利用直接反馈对齐算法代替标准误差反向传播算法，通过实验证明其在多种结构和数据集上都能够显著提高模型的准确率（通常提高 10-20%），从而更好地保护隐私信息。
- CVPR正交过参数化训练
该研究提出了一种新的正交超参数训练 (OPT) 框架，该框架可以证明地最小化描述神经元多样性的超球面能量，通过保持最小超球面能量来提高神经网络的泛化能力。