- Dragtraffic: 一个面向非专家的交互式和基于点的可控交通场景生成框架
通过基于条件扩散的广义、基于点的可控交通场景生成框架 Dragtraffic，使用回归模型提供初始解决方案，并通过条件扩散模型的细化过程来确保多样性，引入用户自定义上下文以确保高可控性，实验证明 Dragtraffic 在真实驾驶数据集上的 - 我的成为你的：在新闻采访对话中定义、注释和检测上下文相关的同义重述
研究在对话中的释义（如第一发言者：“那本书是我的。” 变成第二发言者：“那本书是你的。” ）的上下文依赖释义操作和训练，提出了一个数据集和方法来对对话中的释义进行分类，通过在 NPR 和 CNN 新闻采访的话语对进行标注，得到了令人满意的用 - RecGPT：借助 ChatGPT 培训范例，为序列推荐生成个性化提示
ChatGPT 在自然语言理解方面取得了显著的成功。为了将 ChatGPT 的基本模式应用于推荐任务，我们在项目索引级别上设计了一个新的聊天框架。我们的创新主要包括模型、训练和推断等三个方面。通过在离线公共数据集和在线 A/B 测试中进行实 - 基于共轭梯度类自适应矩估计优化算法的深度学习
通过将共轭普通梯度方法与 Adam 相结合，提出了一种名为 CG-like-Adam 的用于深度学习的新型优化算法，以加速训练并提升深度神经网络的性能。在该算法中，用共轭普通梯度方法替代了 Adam 的一阶和二阶矩估计，数值实验证明了该算法 - ViSaRL：人眼显著性引导的视觉强化学习
用基于视觉显著性引导的强化学习（ViSaRL）来训练机器人从高维像素输入中执行复杂的控制任务，通过优化视觉表征，ViSaRL 显著提高了强化学习代理在不同任务上的成功率、样本效率和泛化能力。
- 加速扩散模型的训练：一种一致性现象的启示
扩散模型在近年来引起了广泛关注，然而其高计算成本限制了实际应用，本文通过研究发现了扩散模型的稳定性，并提出了两种训练加速策略，即课程学习的时间步骤调度和动量衰减策略。实验结果表明，这些策略可以显著减少训练时间并提高生成图像的质量。
- 深度神经网络的高效并行计算中的循环数据并行
通过 Cyclic Data Parallelism 和 Model Parallelism 技术，在训练大型深度学习模型的过程中，减少了内存的需求以及 GPU 的使用，提升了模型的执行效率。
- 数据剪枝中的知识提取
通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。
- 通过不变统计损失训练隐式生成模型
通过无判别器方法训练一维隐式生成模型，然后扩展到多元情况，成功地学习真实分布并解决现有隐式方法存在的问题。
- MatchNAS: 通过自动化深度神经网络移植优化稀疏标签数据环境下的边缘人工智能
在本文中，我们提出了 MatchNAS，一种将深度神经网络移植到移动设备的新方案，通过同时优化一个大型网络集合，使用有标签和无标签数据，并自动搜索适用于不同硬件平台的定制网络，从而作为连接基于云的 DNN 和边缘的 DNN 之间的中间人。
- 含噪声 SGD 中的隐式偏差：与差分隐私训练的应用
使用小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。这种随机梯度下降的特定噪声结构被认为是导致这种隐式偏差的原因。使用差分隐私（DP）确保 DNN 的训练时，DP-SGD 会向截断梯度添加高斯噪声 - 演化引导的生成流网络
我们提出了一种名为进化引导生成流网络（EGFN）的方法，通过使用进化算法（EA）对一组代理参数进行训练，将得到的轨迹存储在优先级回放缓冲区中，并使用存储的轨迹训练 GFlowNets 代理，以有效地训练 GFlowNets 模型在处理长轨迹 - Synchformer: 从稀疏提示实现高效同步
我们的研究目标是在 YouTube 等 ' 野外 ' 视频中实现音频和视觉的同步，我们提出了一种新颖的音视频同步模型，并通过多模式片段级对比预训练将特征提取与同步建模分离开来。这种方法在密集和稀疏环境下都实现了最先进的性能，并将同步模型训练 - LR-CNN：轻量级面向行的卷积神经网络训练以减少内存消耗
我们通过重新组织操作，将传统的一层一层的数据流规则打破，设计了一种轻量级架构，能够在不影响准确性的情况下移除大部分中间数据，有效降低内存消耗。我们特别研究了两个连续行之间的较弱依赖关系，提出了两种解决方案，并通过评估验证了其有效性。我们还验 - 通过迭代预条件引导的去噪扩散模型进行图像恢复
训练深度神经网络已成为解决图像恢复问题的常用方法，本文提出了一种基于预条件的新型引导技术，它在恢复方案中的实现要比现有方法简单，同时对噪声具有抗干扰性，适用于图像去模糊和超分辨率的任务。
- 数学牧人：一种无需标签的逐步验证器，用于数学推理中的 LLMs
Math-Shepherd 是一种创新的过程导向数学验证器，使用自动生成的过程级监督数据进行训练，通过对 LLM 的输出逐步赋予奖励分数来解决复杂多步骤数学问题，指导一系列开源 LLMs 取得了非凡的性能，并在自洽性方法和其他验证模型方面表 - 复合生存分析：学习辅助聚合基线和生存得分
通过将 Survival Analysis 模型的完整表达分解为聚合基线风险和独立分布的生存得分，改善了该模型的训练和推断方法，实现了对右删失观测的动态处理，并在各种真实世界数据集中取得了与其他最先进方法相媲美的性能，无需进行微调或超参数优 - EE-LLM: 基于 3D 并行的大规模训练与推理的早退出大型语言模型
EE-LLM 是一个基于大规模训练和推理的早期退出大型语言模型的框架，通过支持训练和推理的大规模 3D 并行性，EE-LLM 在扩展早期退出 LLMs 方面迈出了关键的一步，通过实现多种算法创新和性能优化，实现了出色的训练效率和推理加速。
- 曲率解释了塑性丧失
神经网络的可塑性丧失是一种现象，其能力从新的经验中学习受到影响。本文提供了关于可塑性丧失的一致解释，认为在训练过程中神经网络方向的曲率减少导致了可塑性的丧失。通过对多个连续监督学习问题进行系统的实证研究，我们发现曲率减少与可塑性丧失同时或之 - 若得之则与之，语义对应学习无对标图像
通过无标签对训练的简单而有效的方法，扩充了数据集的数量和多样性，并在基于语义的对应基准测试中取得了优于里程碑基线和最先进方法的性能提升。