- 利用人工智能高效分析复杂政策文件：一份《行政命令 14110》案例研究
研究评估了人工智能在简化政策分析中的潜力，并识别了当前人工智能方法的优点和限制。研究还通过使用《关于 “人工智能的安全、可靠和可信开发与应用”》这一行政令进行案例研究，对四个商业人工智能系统进行了性能比较。研究发现，Gemini 1.5 P - 纹理分析中视觉 Transformer 特征提取的比较调查
该研究采用 21 个不同的预训练 Vision Transformer 架构，评估其在纹理识别中的性能，并与卷积神经网络和手工设计模型进行比较。结果显示，Vision Transformers 在纹理识别方面通常优于卷积神经网络和手工设计模 - 使用 C4 提升大规模并行训练效率：一种基于通信的方法
本文介绍了一种基于通信的解决方案 C4，通过利用并行训练中集体通信的周期性和均匀性特征，快速识别故障组件，避免了资源浪费，并且通过有效的流量规划大大降低了网络拥塞。该解决方案在生产系统中得到了广泛实施，削减了因错误导致的开销约 30％，并提 - 神经符号时序点过程
我们引入了一个神经符号规则归纳框架，该框架通过时序点过程模型高效地发现一个紧凑的时间逻辑规则集合来解释感兴趣的不规则事件。我们采用了矢量嵌入来表示谓词和逻辑规则，并通过梯度下降训练逻辑规则嵌入以获得谓词嵌入的最适合的组合表示。为了使规则学习 - 在零样本机器人导航中平衡性能和效率
我们对机器人的目标导航任务中应用的视觉语言前沿地图（VLFM）进行了优化研究。我们评估了各种视觉语言模型、目标检测器、分割模型以及多模态理解和视觉问答模块的效率和性能。在有限的 VRAM 桌面上，我们提出了一个解决方案，它在不丢失重要路径长 - Flash Diffusion: 加速任何有条件扩散模型的少步图像生成
本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能 - 矩阵流形上的 Riemannian 坐标下降算法
提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。
- 通过动态参数调整彻底改变大型语言模型训练
在大语言模型时代，提高计算资源的有效利用需求变得非常重要。本文基于 LoRA 精调方法，引入了一种新颖的参数高效训练技术，通过频繁改变可训练参数的一部分，提高了有效的预训练。我们的方法不仅在预训练阶段实现了内存和计算开销减少，与当前最先进的 - DHA：通过自适应头融合从 Transformer 检查点学习分离头注意力
通过分析注意力冗余，设计了一种解耦式头部注意力机制（Decoupled-Head Attention，DHA），达到性能和效率之间的更好平衡，通过逐步线性融合类似头部参数来将 Multi-Head Attention（MHA）模型转换为 D - KDD连续几何感知图扩散：超几何神经偏微分方程
通过将深度视为连续时间嵌入演化的方法，我们在本文中解耦了超椭圆图神经网络 (HGNN) 并将信息传播重新构造为偏微分方程 (Partial Differential Equation, PDE)，让节点注意力承担超椭圆神经 PDE (Hyp - 学习基础模型以解决路径规划问题的启发函数
通过深度强化学习训练启发式函数，该研究提出了一种新型基础模型，能够在不进一步微调的情况下适应各种新领域，从而在复杂路径规划问题中为人工智能驱动的解决方案建立了新的效率和适应性标准。
- GECO: 生成图像至 3D 的 SECOnd 中
GECO 是一种高质量、高效率的 3D 生成模型，通过两个阶段的训练和优化，实现了优化 3D 生成的质量和效率的平衡。
- GKT：一种面向高效云边协同 LLM 部署的基于导向的知识转移框架
通过指导式知识迁移，我们引入了一种新颖而直观的框架来加速大型语言模型，在不断提高性能的同时保证了效率和实惠性。该框架能够无需微调，无需教师和学生模型具有相同的词汇，实现广泛的批量生成，且可轻松集成到各种模型中，同时在准确性和处理速度上实现了 - 傅立叶控制网络用于实时决策的具象学习
通过在机器人轨迹的频域中提取和编码时变特征的短时傅里叶变换 (STFT)，傅里叶控制器网络 (FCNet) 实现了实时决策的并行训练和高效的循环推断，比传统方法如 Transformer 在各种大小的多环境机器人数据集上的效率和有效性更高。
- 多模式生成嵌入模型
多模态生成嵌入模型能够同时处理多模态任务，在效率上具有竞争力，具备良好的图像标题生成和文本图像检索能力。
- SLMRec: 增强小型语言模型在顺序推荐任务中的能力
本文通过在大规模行业数据集上进行广泛实验，发现大多数 LLMs 的中间层是多余的，并提出了一种名为 SLMRec 的基于小型语言模型的推荐模型，仅使用 LLM-based 推荐模型中 13% 的参数，同时在训练和推断时间成本上实现了高达 6 - 数据集增长
InfoGrowth 是一个高效的在线算法，用于数据清洗和选择，可以提高单模态和多模态任务的数据质量和效率，具有实用的可扩展性。
- DiG: 基于门控线性注意力的可扩展高效扩散模型
本文基于 Gated Linear Attention Transformers 构建一个可用于扩展预训练扩散模型的简单、易于采用的解决方案，其在效率和效果上优于 Diffusion Transformers 模型。
- 子空间节点修剪
使用节点剪枝和子空间形成技术，该论文提出了可以在保持网络性能最大化的同时去除计算单元来提高深度网络的效率，通过重新组织网络和使用正交子空间来选择合适的剪枝比例，并在 VGG 和残差网络中验证了该方法的优越性。
- 基于边界感知查询投票的高效时间动作分割
通过使用 BaFormer 方法，本研究提出了一种基于时间段分类的新视角，以实现高效的动作分割，过程中运用了 Transformer 的优势，将每个视频段作为实例标记，并赋予了内在的实例分割能力，通过使用全局查询进行类别无关的边界预测，得到