infrastructure | BriefGPT - AI 论文速递

关键词infrastructure

搜索结果 - 6

AAAIFed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架
通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。
PDF5 months ago
EMNLP构建未来，必须了解过去：自然语言处理中的范式转变的背景
NLP 领域正在经历一系列颠覆性的变化，该研究旨在通过深入了解过去来塑造我们的未来。通过对 26 位 NLP 研究人员进行长篇采访，我们研究了影响 NLP 领域的因素，包括文化、激励和基础设施。我们的访谈对象发现该领域存在循环模式，同时也出
PDF7 months ago
使用 DeepSpeed 和 Megatron 训练 Megatron-Turing NLG 530B，一种大规模生成式语言模型
本文描述了用于训练 Megatron-Turing NLG 530B （MT-NLG）的基础架构和 3D 并行方法，重点介绍了训练过程、训练语料库的设计和数据精选技术，以及各种评估结果和新特性。作者展示了 MT-NLG 在几个自然语言处理基
PDF2 years ago
高效深度学习：关于使深度学习模型更小、更快、更好的调查
介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实
PDF3 years ago
Qlib：面向 AI 的量化投资平台
研究旨在通过使用 AI 技术，为数量化投资提供一个强大的基础架构，以支持新的学习范式和数据驱动的方法，并解决在 AI 技术应用于金融领域的过程中所面临的挑战。
PDF4 years ago
Booking.com 的在线控制实验民主化
这篇论文介绍了 Booking.com 如何通过建立成功和失败的中央资源库、具有通用性和可扩展性的代码库、监控数据收集管道的质量和可靠性、并实施保障措施等方面，在超过十年的时间内在产品开发中成功地实现了在线实验的民主化和分散化决策。
PDF7 years ago