LLMOps 成本高、透明度低、模型训练方法和数据缺乏一致性，为解决这些问题，LMM Efficieny Challenge 提出了在有限时间内利用单一 GPU 对基础模型进行微调的任务，研究介绍了 Birbal，该模型经过精心设计的指导说明覆盖多个任务，成功地在一个 RTX 4090 上实现了 35% 的性能提升。

Mar, 2024

FastBERT 是一种 BERT 变种，使用仅占其神经元的指数部分进行推断，同时表现出与类似 BERT 模型相当的性能。它通过将前馈网络替换为快速前馈网络来实现，每层推断只有 12 个神经元参与。我们提供了高效的 CPU 代码和 PyTorch 实现，分别获得了 78 倍和 40 倍的加速效果，同时发布了训练代码、基准设置和模型权重。

Nov, 2023

本研究提出了一种快速、基于区块链的高效通信联邦学习框架，称为 BCFL，通过压缩通信实现了 95-98% 的通信流量减少和 90-95% 的训练时间缩短，同时导出了非凸损失的收敛速度和双凸优化问题以提高训练效果。

Aug, 2022

本文提出一种游戏化方法作为智能建筑基础设施的新框架，旨在激励人类占用者重新考虑个人能源使用并对其环境产生积极影响。我们引入了一种以博弈论为基础的策略，在建筑管理员与占用者之间创建接口，可能会激励节能行为，运用新型效用学习框架提高预测性能，通过双向递归神经网络扩展效用学习模式进行优化，最后我们还开源了与能源博弈论框架有关的去匿名化的高维数据。

Oct, 2019

本文提出了一个新的基于分层自适应学习率的大批量优化技术 ——LAMB，主要用于加速深度神经网络训练。在各种任务（如 BERT 和 ResNet-50）中，LAMB 的表现优于现有算法，特别是在 BERT 训练中，我们的优化器能够实现 32868 的大批量大小，将训练时间从 3 天缩短至 76 分钟。

Apr, 2019

本文针对大规模语言模型因其体积庞大、推理速度慢难以部署于边缘设备的问题，通过对 BERT 前馈网络进行优化实现高性能、高效率的 EfficientBERT 模型，取得了较好的性能表现。

Sep, 2021

利用新型神经网络模型预测占用者的热舒适状态，分别应用了 Bayesian Gaussian Process Optimization (BGPO) 和 Augmented Firefly Algorithm (AFA) 优化算法来平衡空调系统的能效和占用者的热舒适感，实验结果表明，在样本数量一定时，AFA 算法比 BGPO 算法更稳定，并且在能效用户偏好条件下，BGPO 和 AFA 的最佳节能率分别为 -21％ 和 -10％，可在新加坡实验室节约 S$1219.1。

Apr, 2022

我们提出了一种基于最小化重构误差的高效快速稀疏 LLMs 微调框架，通过采样小数据集进行校准，并利用反向传播逐块优化重构误差，从而获得最佳解决方案。我们在各种基准测试中进行了广泛实验，始终证明我们的方法优于其他基准线。

Feb, 2024

使用贝叶斯优化方法，探索了在机器学习模型中，构架和超参数的调节与所得准确性与延迟之间的平衡方法。

Jun, 2021

本文提出一种新的基于强化学习的方法来优化在小型设备上部署的深度神经网络，以便在保持预测精度的同时最小化内存占用和计算复杂度。实验结果表明，该方法在不同数据集和架构上均优于现有的多目标贝叶斯优化方法。

May, 2023