- 训练 LLMs 以提升自我调试和解释代码能力
自调试是代码生成领域的关键,并且该研究旨在提出一个训练框架,显著提高了语言模型的自调试能力,通过生成一系列解释和改进轨迹,进行自动化数据收集和筛选,进行监督微调和强化学习,并通过对代码解释和改进质量的考虑,实现对四个基准测试的性能提升。研究 - MARL-LNS:基于大型邻域搜索的合作多智能体强化学习
合作多智能体强化学习是一个在过去五年中越来越重要的研究主题,因其在现实世界中的巨大应用潜力。本文提出了一个通用的训练框架 MARL-LNS,通过在交替的智能体子集上进行训练,并使用现有的深度 MARL 算法作为底层训练器来解决维度灾难的问题 - VersaT2I:利用多功能奖励改进文本到图像模型
最近的文本到图像 (T2I) 模型在大规模和高质量数据的帮助下,展现出令人印象深刻的性能,然而,这些 T2I 模型在生成具有美感、几何精确、忠实于文本和具有良好低级质量的图像方面仍然存在困难。我们提出了 VersaT2I,这是一个多功能的训 - COLING通过一致对齐提升大型语言模型的鲁棒性
定义了指令不一致问题并提出了两阶段训练框架,在第一阶段通过相似指令增强帮助模型跟随指令,第二阶段通过区分相似回应中微小差异来提高模型的多样性和人类期望的一致性,并通过自奖励训练过程来验证该框架的有效性。
- UniTable: 通过自监督预训练实现表格结构识别的统一框架
通过自我监督预训练和表格图像的更丰富无标注数据,UniTable 提出了一种统一的训练框架,将表格结构识别的训练对象整合为语言建模,达到了领域内最高水平。
- 使用优化效率和最小延迟的通用脉冲神经网络训练
提出了一个通用的训练框架,提高了有限时间步长内特征学习和激活效率,为更节能的 SNN 提供了新的解决方案。
- Holmes: 面向集群间具有异构 NIC 环境的分布式训练
Holmes 是一个专门为 LLMs 设计的训练框架,通过巧妙构建数据和模型并行策略,在异构 NIC 环境下实现了可扩展性,并在大多数情况下达到接近 RDMA 网络性能的学习效率,同时与其他主流 LLM 框架无缝集成。
- DREAM:扩散校正与估计自适应模型
DREAM 是一种新型的训练框架,通过调整训练和采样的对齐以及平衡感知和失真,优化扩散模型在图像超分辨率方面的训练性能,实验结果显示 DREAM 在训练收敛速度、采样步骤和结果质量方面优于标准扩散基准方法。
- 使用动态时间步长的脉冲神经网络用于视觉变换器
基于动态分配时间步数的训练框架,提出了一种对视觉变换器进行训练的方法,以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。
- 带有未知参数约束的混合整数线性规划的两阶段预测 + 优化
我们提供了一个新的更简单更强大的框架称为 Two-Stage Predict+Optimize,可用于预测和优化的设置中,通过训练算法涵盖了所有混合整数线性程序,并且实验证明我们的训练框架在所有传统和最先进方法上具有卓越的预测性能。
- ADFactory:光流任务的自动化数据工厂
通过使用先进的 Nerf 技术,我们提出了一种新的光流训练框架,可以在目标数据领域上高效地训练光流网络,而无需手动标注。实验结果表明,我们的方案在 KITTI 上的泛化能力超过了现有的自监督光流和单目场景流算法,并且在真实世界的零点泛化评估 - 神经群体解码的统一可扩展框架
运用深度学习方法解读神经活动的研究表明,通过扩大模型规模和数据集规模,我们能更好地理解神经活动的特征。本文介绍了一种用于对各种大规模神经活动数据进行建模的训练框架和架构,通过将数据集中的个体脉冲进行分词来捕捉神经活动的细微时间结构,并利用交 - QuATON:光神经元的量化感知训练
光学神经架构(ONA)使用具有优化的物理参数的编码元素进行智能测量,提出了一种物理信息量化感知训练框架,该方法在训练过程中考虑了物理约束,导致了稳健的设计。在不同量化水平和数据集上进行了大量实验,表明我们的方法导致了对量化噪声稳健的 ONA - 图像 - 物体特定提示学习用于少样本类增量学习
使用 Contrastive Language-Image Pre-training (CLIP) 模型的泛化能力,我们提出了一种创新的 FSCIL 训练框架,通过为输入图像创建针对图像对象特定属性(如翅膀或轮胎)而非背景的 IOS 分类器 - 利用群体知识增强残差网络
通过隐式集成模型的新视角理解残差网络,并提出一种基于知识分组的训练框架,通过子网络采样和训练来提高残差网络的性能和效率。
- ACL在最近邻机器翻译中注入 kNN 知识
该论文提出了一种名为 INK 的训练框架,通过调整 kNN 邻居的表示来直接平滑表示空间,从而提高神经机器翻译的泛化性能和推理速度。在四个基准数据集上进行实验显示,与最先进的 kNN-MT 系统相比,INK 具有更高的性能,并且在内存空间和 - SpotTarget: 重新思考目标边对图神经网络链接预测的影响
本文分析了消息传递中的三个常见缺陷,并研究了在训练和测试阶段包括或排除目标边对节点在不同度数下的性能表现的影响。通过提出一个有效的和高效的 GNN 训练框架 - SpotTarget,可以解决这些问题并在真实世界的生产数据集上显着提高 GN - 多语言机器翻译多容量模型一站式训练
本文提出了一个包含两个复合模型结构和一个联合训练算法的新型一站式训练框架,将不同灵活容量模型的监督集成到训练中,这相对于知识蒸馏有更快、更高效的收敛,实验结果表明该方法优于低容量基线模型,并且在高容量模型上实现了相当或更好的性能。
- Patch Diffusion:扩散模型的更快、更省数据训练
提出了一种名为 Patch Diffusion 的通用 Patch-wise 训练框架,其核心创新是新的条件分数函数,它在原始图像的 Patch 级别包括 Patch 位置作为附加坐标通道,并且通过训练在多个尺度上对 Patch 大小进行随 - 使用图神经网络从实时网络配置中学习蜂窝网络覆盖
提出一种新的基于图形和状态转移网络的训练框架,它能够对细胞的配置进行高质量估计,适用于多个关键绩效指标的估计,同时具有良好的预测性能。