- 改进扩散训练的噪声计划
我们提出了一种设计噪声时间表以增强扩散模型训练效果的新方法，并通过在 ImageNet 基准测试上的实验结果展示了该设计的优越性。
- 专家坚持自己的领域：面向稀疏架构的专家专用微调技术
参数高效的微调（PEFT）是为了定制具有受限资源的大型语言模型（LLMs）而关键。本文研究了 Mixture-of-Experts（MoE）架构的 LLMs 上的 PEFT 方法，主要工作内容包括：（1）研究定制任务中激活的专家的集中程度， - 一致性流匹配：通过速度一致性定义直线流
Consistency Flow Matching (Consistency-FM) is a novel flow matching method that enforces self-consistency in the velocit - SplitLoRA：大型语言模型的分割参数高效微调框架
本研究提出了用于大型语言模型的分割学习框架 SplitLoRA，综合了联邦学习和分割学习的优势，显著提高了训练效率，并通过广泛的模拟验证表明 SplitLoRA 比最先进的模型微调框架在更短的时间内实现了目标精度，展示了 SplitLoRA - LLaVolta: 通过分阶段视觉上下文压缩实现高效多模态模型
通过对视觉标记和训练效率的分析研究，提出了一种名为 Visual Context Compressor 的方法，通过压缩视觉标记来提高多模式模型的训练效率，最终实现在图像语言理解和视频语言理解领域性能的提升和训练成本的降低。
- 一种简化的一致性模型
一种训练一致性模型的替代方案，通过表达常态模型轨迹的微分方程，提高训练效率，并显示出经典的幂律缩放规律。
- LieRE: 广义旋转位置编码
引入了 Lie 组相对位置编码（LieRE），在 2D 和 3D 图像分类任务中取得了显著性能提升（高达 6%），训练效率（降低了 3.5 倍），数据效率（提升了 30%），相比于 Rotary Position Embeddings（Ro - 逆转遗忘 - 保留目标：基于逻辑差异的高效 LLM 最佳模型即时舍弃框架
通过介绍一种新的遗忘框架 Unlearning from Logit Difference（ULD），该方法通过计算目标模型与助理模型之间的逻辑差异来实现忘记目标文档和保留其他知识的目标，从而解决了 LLM 遗忘方法中的两个挑战问题（退化输 - CVPR小规模无数据知识蒸馏
通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏 (SSD-KD) 方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。
- 稀疏贝叶斯网络：医学图像分析中高效的不确定性量化
通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类 - ACLLight-PEFT: 轻量级参数高效微调通过早期修剪
Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modu - 排除无关因素：通过连续动作屏蔽集中增强学习
本研究论文中，我们提出了三种连续动作屏蔽方法，以精确地将动作空间映射到与状态相关的相关动作集合，从而确保只有相关动作被执行，提高增强学习代理的可预测性，并使其在安全关键应用中得到应用。实验结果显示，这三种动作屏蔽方法比没有动作屏蔽的基线方法 - 步骤感知的偏好优化：在每个步骤中将偏好与去噪性能对齐
我们提出了一种 Step-aware Preference Optimization (SPO) 的方法，通过独立评估和调整每个步骤的去噪性能，在对生成图像进行偏好调整时改进了 Diffusion-DPO 方法的训练效率和图像质量。
- 缓冲异步安全聚合用于跨设备联邦学习
异步联邦学习中设备异构性的挑战与现有的用于保护用户隐私的安全聚合协议不兼容，本文提出了一种名为缓冲式异步安全聚合（BASA）的新颖安全聚合协议，BASA 与异步联邦学习完全兼容，并在用户之间无需任何同步交互的条件下，为交换一轮与服务器的通信 - SUBLLM：LLM 的一种新型高效架构及令牌序列子采样
通过提出 SUBLLM 架构，本文解决了大型语言模型中训练和推断的效率问题，通过引入子采样、上采样和旁路模块，SUBLLM 在训练和推断速度以及内存使用方面取得了显著的改进。
- MeMo：通过噪声注入实现有意义、模块化的控制器
我们展示了一种新的方法，通过输入单个机器人及其控制器，为每个机器人组件生成一组模块化控制器，从而快速学习并重用这些模块化控制器，提高训练效率。在机器人形态转换和任务转移方面，我们的框架 MeMo 相比其他方法表现出更好的训练效率。
- LocMoE+：增强型路由器具有令牌特征感知的高效 LLM 预训练
LocMoE + 是低成本的改进版本，通过量化和定义专家和令牌之间的关联性、实施全局级自适应路由策略以重新排列令牌以及重新估计专家容量的下限来解决 Mixture-of-Experts 架构中存在的问题，验证实验结果显示，每个专家处理的令牌 - ARVideo：用于自监督视频表示学习的自回归预训练
该论文介绍了一种新的自我监督视频表示学习框架 ARVideo，其中通过自回归方式预测下一个视频令牌，将自回归视频令牌按照时空间隔进行聚类，并采用随机化时空预测顺序来提高学习效果，实验证明 ARVideo 是一种有效的自我监督视频表示学习范式 - DiM: 高效高分辨率图像合成的扩散灰曼巴
提出了一种结合了 Mamba 和扩散模型的高效高分辨率图像合成方法 DiM，使用 ``weak-to-strong'' 训练策略和无需进一步微调的上采样策略提高训练和推理效率。
- Mosaic IT：利用数据镶嵌增强指令调优
通过引入 Mosaic Instruction Tuning (Mosaic-IT) 方法，本研究提供了一种人 / 模型无关的有效方式来增强通过现有指令调校数据进行细调训练的语言模型的能力，并实现了一致优于各种基准测试、训练成本减少 80%