- 将小型模型用于改进大型模型：降低成本和提升性能
基于预训练大模型和小模型协同合作的数据分流 +（DS+）范例可通过充分利用小模型处理简单子任务，从而显著降低大模型查询的成本并提高性能。
- 快速、非局部和神经网络：图像去噪的轻量高质量解决方案
通过将非局部算法与轻量级残差卷积神经网络相结合，提出了一个解决方案，充分发挥了两种模型的优势，将计算要求降至最低，并在图像去噪中表现出色。
- RLlib-IMPALA 框架在可伸缩电压 - 无功优化中的应用研究：一种强化学习方法
电力系统中的 VVO 优化日益关键，本研究提出了一种基于深度强化学习和重要性加权 Actor-Learner 架构的新颖框架，利用 RAY 平台的分布式计算和高级超参数调整功能，显著加快了 VVO 解空间中的探索和利用阶段，并取得了优于现有 - ACL大型语言模型的心理评估：注重隐私且具有成本效益的方法
该研究探讨使用大型语言模型（LLMs）分析 Reddit 用户的文本评论，旨在实现两个主要目标：首先，找出支持预定义心理评估自杀风险的关键摘录；其次，总结材料以证实预先分配的自杀风险水平。该研究仅限于在本地运行的 “开源” LLMs 的使用 - 超越极限：大型语言模型中扩展上下文长度的技术综述
本文调查了扩展序列长度的技术和方法，包括架构修改和注意机制的改变等多种方法，并讨论了当前方法的局限性和未来研究方向建议，强调了序列长度对大型语言模型进一步发展的重要性。
- 高效槽位标注
对话系统中的轮寻标记是其重要组成部分之一，本研究提出了一种轻量级方法，可以在与基于预训练语言模型相当或更好的表现的同时，可训练参数量减少了近 10 倍，使其尤其适用于现实世界中的工业场景。
- 始终稀疏训练：引导随机探索下的连接增长
现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。
- 用于加性非参数回归的随机梯度下降
该论文介绍了一种迭代算法，用于训练具有有利的内存存储和计算要求的加法模型。该算法可以被视为随机梯度下降的函数对应物，应用于组成函数的截断基函数的系数。我们证明了所得到的估计器满足一个预言不等式，可以容许模型错误规定。在规范设置下，通过在培训 - 图计算加速器的实现
图神经网络在图结构数据上学习提供了一种新颖的机器学习范例，能够捕捉图数据中的复杂关系和依赖性，从而在社交网络分析、分子化学和网络安全等领域具有重要的影响。本论文旨在深入研究 GNN 与底层硬件的交互方式，并设计专用加速器和新型优化方法，以实 - 线性组合的指数移动平均用于无线信道预测
提出了一种基于指数移动平均（EMA）的预测模型，并通过实验证明了其在预测准确性上的优势，尽管计算复杂度略微增加，但在任何实验条件下以比 EMA 显著更好的性能提供了可观的改进。
- KDD基于工业规模数据的建模表格数据的 Transformers 的比较分析
通过对工业规模数据集的比较分析，本研究旨在解决高维数据处理、范畴和数值特征的高效预处理以及计算需求等问题，并提供了关于数据预处理、预训练和直接监督学习方法的比较，以及管理计算资源和性能之间的权衡策略。着重于金融时间序列数据建模，旨在促进变压 - 降低鉴别器引导扩散模型中的曝光偏差
SEDM-G++ 结合鉴别器引导和 Epsilon 缩放的改进取样方法，解决了扩大偏差的持久问题，提高了生成图像的质量。
- 医学影像学中的基础模型：综合调查与未来视野
通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。
- MOSEL：使用动态模态选择的推理服务
本文介绍了一种自适应地选择多种模态的推理输入，以满足性能和精确性要求的自动化推理服务系统 MOSEL，通过广泛利用模态配置，提高系统吞吐量 3.6 倍，缩短作业完成时间 11 倍。
- 追踪中使用负样本进行高效训练
通过使用分布式头和目标指示令牌，以及平衡负样本和正样本的训练过程，本研究介绍了一种更高效的训练策略来减轻过拟合并降低计算要求，同时在性能上优于现有方法。
- 样本减少，学习更多：通过帧特征修复实现高效动作识别
通过恢复两个稀疏采样和相邻视频帧的中间特征，本研究提出了一种新方法，以解决过采样帧引起的性能下降问题，并且在几个常用基线方法上提高了 50% 以上的效率，仅导致 0.5% 的识别准确率降低，同时在零 - shot 设置下也意外地改善了模型的 - 一个高效的基于 Transformer 的视频问答方法：视频是否能够取代 $n imes n$ 张图像？
本文提出了一种高效的基于现有的视觉 - 语言预训练模型的视频问答方法，该方法将视频帧连接成 $n imes n$ 的矩阵，从而将图像编码器的使用量从 $n^2$ 减少到 1，保持了原始视频的时间结构。实验结果表明，我们的方法在 MSRVTT - 如何以迁移学习方式进行迁移
本文探讨了深度学习中的迁移学习的效果与代价，结果提供了关于使用迁移学习的指南。
- 人工通用智能的方法：一项分析
分析了达到人工智能的几种方法，并得出综合认知结构是最有前途的方法，因为人类大脑模拟需要未来的技术支持，而综合认知结构具有较低的计算要求和合适的普适性。
- NIPS网络量化中的迭代查找表训练
本研究介绍了一种叫做 LUT-Q 的训练方法，它可以学习一个字典并将每个权重分配给字典中的一个值，以减少深度神经网络的内存和计算需求。我们的实验结果表明，LUT-Q 比其他同种量化位宽的方法表现更好，并提出了一种无乘法器批归一化的算法。