- 可扩展等变学习的 SE (3)- 土狼算子
基于 Hyena 操作符的等变长卷积模型 SE (3)-Hyena，在保持旋转和平移等变性的同时，以次二次复杂度捕捉全局几何上下文，处理长序列时比等变自注意力机制更省内存和计算资源。
- LiteSearch: 高效的 LLM 树搜索
通过考虑搜索进展和价值网络的引导，本研究介绍了一种新颖的有引导的树搜索算法，用于在可接受的计算成本内提高性能。实验结果显示，该方法不仅具有竞争力的性能，而且相对于基准方法而言计算成本显著降低。
- 神经网络规模定律的信息论基础
通过建立信息论基础，我们研究了神经缩放定律，并揭示了在无限宽度的两层神经网络生成的数据中，数据和模型大小的最佳关系大致呈线性，进一步验证了大规模的实证研究结果。
- 补偿量化误差：使权重分层以互相补偿
Emergent Large Language Models (LLMs) use their extraordinary performance and powerful deduction capacity to discern fro - 综合先前策略解决新任务
多任务强化学习通过提供一种常见的形式化方法 IKH，聚焦于多任务强化学习的模块化和组合性，以增强智能体在动态环境中的学习和适应能力。
- LaCoOT: 通过最优输运实现层塌缩
通过最大切片 Wasserstein 距离来最小化神经网络中间特征分布之间的距离，从而减少深度过度参数化的深度神经网络的计算负担。
- 稀疏贝叶斯网络：医学图像分析中高效的不确定性量化
通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类 - OTO 规划器：用于复杂和未知环境的高效只旅行一次探索规划器
提出了一种高效的探索规划器，用于减少复杂环境中的重复路径，从而降低探索时间和移动距离，并提高前沿检测的速度。
- 令牌经济中的推理：对 LLM 推理策略的预算感知评估
考虑计算预算并结合性能指标，对比了不同推理策略在语言模型中的效果，发现复杂推理策略的成功并非仅仅基于算法的巧妙设计，更取决于分配的计算资源。
- 渐进自信遮罩注意力网络用于音频 - 视觉分割
通过引入渐进自信掩蔽注意力网络（PMCANet），利用注意机制揭示音频信号和视觉帧之间的内在相关性，并设计了高效且有效的跨注意模块来通过选择查询标记增强语义感知。实验证明，我们的网络在需要更少的计算资源的情况下比其他 AVS 方法表现更好。
- 基于 Bert、Roberta 和 Xlnet 的分子性质预测集成模型
提出了一种新的方法，通过集成学习和 BERT、RoBERTa 和 XLNet 的监督微调，无需进行大量预训练即可高精度预测分子属性，解决了实验组面临的计算资源有限的问题，提供了一种具有成本效益和资源高效的解决方案，可能推进分子领域的进一步研 - TrojFM: 面向超大规模基础模型的高效后门攻击
我们提出了一种适用于非常大的基础模型的全新后门攻击方法 TrojFM，通过开发一种新的后门注入方法，使被后门化的模型在对输入进行隐藏表示时生成相似的表示，从而实现对非常大的基础模型的高效后门攻击。我们的攻击方法可以通过仅使用一个 A100 - LoQT: 低秩适配模块用于量化训练
LoQT 是一种用于高效训练量化模型的方法，它使用基于梯度的张量分解来初始化可训练的低秩权重矩阵，并周期性地合并到量化全秩权重矩阵中。我们发现 LoQT 使得在消费级 24GB GPU 上能够高效地训练高达 7B 参数的模型，并且还展示了在 - 一个基于传输映射先验的水下图像增强模型（参数 7K）
基于轻量级选择性注意力网络（LSNet）的高效深度学习模型在水下图像增强方面取得了出色性能，相较于其他基于注意力机制的模型，LSNet 在参数数量和计算资源上均显著减少，并获得了 97% 的峰值信噪比。
- 大型语言模型预训练的未来是联邦式的
利用联邦学习的灵活性和适应性，实现大规模的合作，以培训大型语言模型（LLM），并展示联邦训练的有效性与模型规模的关系，以及用有限资源训练十亿级联邦 LLM 的方法。
- SparseTSF: 长期时间序列预测的 1k 参数建模
SparseTSF 是一种全新的、极其轻量级的用于长期时间序列预测（LTSF）的模型，通过最小化计算资源，解决了在扩展时间范围内对复杂时间依赖性进行建模的挑战。SparseTSF 的核心是交叉周期稀疏预测技术，通过降采样序列来专注于交叉周期 - 非线性增强的自适应激活函数
通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标 - 使用空间抽象加速原型选择
本文提出一种通过构建数据集的抽象表示并利用空间划分的方法来加速现有的原型选择技术，将其应用于常规原型选择算法，以提高准确率同时增强减少率和缩短执行时间。
- KARINA: 全球天气预报的高效深度学习模型
KARINA 是一种考虑到计算资源需求的全球天气数据的深度学习模型，通过协同使用 ConvNext、SENet 和 Geocyclic Padding 来提高 2.5 度分辨率下的天气预报准确性，大约 4 个 NVIDIA A100 GPU - 揭开缩放法则之迷：第一部分
本技术报告确认原始 OpenAI 论文中提出的缩放定律公式在将模型大小扩大至 330 亿时仍然有效，但这些公式中的常数系数依赖于实验设置。我们细致地确定了影响因素，并提供透明的逐步指导，通过在包含 1M~60M 参数的模型上进行训练估算出缩