通过 FlexTrain 框架，我们能够高效部署深度学习模型到异构设备上，从而节省训练时间和能源消耗，并且在联合学习场景下优于标准联合学习基准模型。

Oct, 2023

本文提出了一种名为 FlexiBERT 的灵活多样的异构模型，引入了新的图形相似度嵌入方案和 BOSHNAS 神经体系结构搜索策略，以此解决使用固定维度模型的 NAS 方法所遇到的子优解问题，大大提高了 GLUE 基准的性能。

May, 2022

本文描述了解决 SemEval 2023 Task 2：MultiCoNER II（多语言复杂命名实体识别）问题所构建的体系结构和系统。我们评估了两种方法：传统的条件随机场模型和经过自定义头部微调的大型语言模型（LLM），并比较了这两种方法。我们探索的新想法有：1）衰减辅助损失（带剩余项）- 在模型上训练粗粒度 NER 的辅助任务并将其包括在损失函数的一部分中；2）三元标记混合 - 探索在最终 NER 层中预测之前混合相邻标记的嵌入方式；3）任务最优头部 - 探索各种用于 LLM 最终层的自定义头部和学习率。我们还尝试了多个 LLM，包括 GPT-3，并在最终模型中使用了多种 dropout 和其他超参数设置，该模型在开发数据上达到了 0.85/0.84 的微观和宏观 F1 值，并在测试数据上达到了 0.67/0.61。我们证明，虽然预训练的 LLM 本身相对传统模型带来了很大的改进，但通过上述额外特征 / 损失 / 模型工程技术的增强，我们还可以显著提高宏观 F1 分数。

Jan, 2024

使用预训练 LLM 强化框架进行完全自动化网络入侵检测，通过在真实网络入侵检测数据集上进行实验，证明了在上下文学习方面的优势，可以在无需进一步训练或微调 LLMs 的情况下改善任务处理性能，GPT-4 的测试准确性和 F1 分数可以提高约 90%。此外，预训练 LLMs 在执行无线通信相关任务方面表现出巨大潜力，通过仅使用 10 个上下文学习示例，提出的框架可以在不同类型攻击中达到超过 95% 的准确性和 F1 分数。

May, 2024

通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

Dec, 2023

通过民主化模型交互并推动大规模神经网络领域的更加包容性研究，FlexModel 提供了与分布在多个 GPU 和多节点配置上的模型进行交互的简化界面。

Dec, 2023

我们提出了 FlexLLM，这是第一个能够在同一次迭代中处理推理和参数高效微调请求的系统，通过协同服务的方法，利用共享的 GPU 资源来同时运行这两个任务，FlexLLM 的合作服务方法减少了激活 GPU 内存开销高达 8 倍，并将微调的整个 GPU 内存要求降低了最多 36％，同时保持了低推理延迟并提高了微调吞吐量。

Feb, 2024

6G 体系结构中人工智能和大型语言模型（LLMs）以及预训练的广义变压器（GPT）的无缝集成将在 AI 中心化操作和下一代通信范式中起到关键作用。

Nov, 2023

通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。

Oct, 2023

利用 Transformer 架构的大型语言模型在教育领域引起了广泛关注，主要应用包括生成和评估教育材料、自动问题生成等，其中 GTP-3 和 BERT 是最受欢迎的模型。

May, 2024