Inferflow 是一个有效且高度可配置的推理引擎，适用于大规模语言模型（LLMs）。通过修改相关配置文件中的几行代码，用户可以简单地为大多数常见的 Transformer 模型提供服务，而无需编写源代码。相比其他推理引擎，Inferflow 具有一些关键特性：首先，通过实现原子建模块和技术的模块化框架，Inferflow 可以普遍适用于新模型；其次，引入了 3.5 位量化作为 3 位量化和 4 位量化之间的折中；第三，Inferflow 引入了混合模型分区以进行多 GPU 推理，以更好地平衡推理速度和吞吐量，超过了现有的按层分区和按张量分区策略。

Jan, 2024

通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。

Oct, 2023

在基础模型的基础上，通过 Learn From Model 技术对模型进行调优、蒸馏和元学习等方面的研究，以提升基础模型的能力和性能，为未来的研究探索和解决待解决的问题提供参考。

Oct, 2023

在线联合微调流程的方法适用于复杂问题的解决方案生成，通过模拟器访问提供对决策的偏好，适用于多跳 QA 数据集 Musique 并取得最新成果。

Jun, 2024

探讨大型基础模型如何在电力系统中发挥潜力，通过验证其在电力系统领域的四个代表性任务（包括最优功率流、电动汽车调度、电力工程技术报告的知识检索和情景感知）上的表现，证明基础模型在提升电力系统操作流程的效率和可靠性方面具有强大的能力，并提供了关于将基础模型在电力系统应用中的未来部署的建议和展望。

Dec, 2023

提出了一种基于预测流的机器人学习方法，能够实现在现实场景中稳定且高效的技能转移，涵盖了现实环境中的多个目标类别，通过利用大规模数据集实现了可扩展的普适机器人学习。

Jan, 2024

本文提出了 Tabular Foundation Models (TabFMs)，通过在广泛的表格数据集上使用预训练的大型语言模型 (LLM) 并进行微调，实现了对表格数据具有深刻理解和普适能力的目标。TabFMs 在指导性任务（如零样本和上下文推理）方面具有显著优势，并且在某些情况下甚至超越了著名但神秘的闭源 LLMs，如 GPT-4。此外，当仅有有限的数据进行微调时，我们的模型表现出了出色的效率和竞争性表现。最后，我们也探讨了 TabFM 的局限性和潜在机会，旨在激发和促进未来开发更强大的 TabFMs 的研究。

Oct, 2023

CoFiTune 是一种粗 - 细调整框架，通过使用树搜索算法和软掩码机制来解决领域专精性和多功能性之间的平衡问题，以提高模型在各种任务上的性能。与基准方法相比，CoFiTune 在整体评估中始终表现出色，并且在 13B 模型上提供了约 14% 的多功能性改进和微小的专精性损失。通过对 LLMs 中的信息传递过程进行进一步分析，我们提供了一种推测性的洞见，以解释所提出的方法的有效性。

Apr, 2024

大型基础模型的资源挑战是一个重要问题，本调研综合分析了现有文献修复切片从模型架构到资源策略的多个方面，为理解当前方法和激发未来突破提供了全面的观点。

Jan, 2024

基金模型的有效适应新任务，特别是那些有限标签的任务，一直是一个开放性问题，缺乏理论理解。本研究通过理论分析和大量实证证据，研究多任务微调方法的理论验证和任务选择算法，为基金模型在缺少充足标签的新任务上的有效适应提供新的视角。

Feb, 2024