model scale | BriefGPT - AI 论文速递

关键词model scale

搜索结果 - 6

关于表格问答的语言模型鲁棒性研究
通过评估 Large Language Models (LLMs) 在基于维基百科和财务报告的 Tabular Question Answering (TQA) 数据集上的表格理解能力，研究发现指令对性能有显著影响，新模型 Llama3 比
PDF18 days ago
可组合功能保持扩展的 Transformer 架构
通过逐步增加转换器神经网络的大小，以保留功能，并在最小初始化约束下提供确切的功能保留证明，本研究提出六种组合的转换方法，可能通过逐步扩展架构来实现更大、更强大的模型的高效训练管道。
PDFa year ago
稀疏探测中的神经元查找案例研究
本文讨论了如何理解大型语言模型内部神经元激活的高级人类可解释特征表示，并通过 $k$-sparse 线性分类器在内部神经元激活上进行分类训练以预测输入特征的存在性，研究表示的稀疏性随模型规模的变化，发现超定叠加、高级语境特定性和多种类型的规
PDFa year ago
挑战 BIG-Bench 任务及连贯思维是否能解决它们
评估语言模型的任务套件 BIG-Bench 在多步推理方面的表现，通过应用 “chain-of-thought” 提示，可以提高模型性能，证明多数任务要求此类提示以获得更好的性能，并且此提示与模型规模具有交互作用。
PDF2 years ago
ACL低资源语义解析的提示微调能力
本文研究了针对语义分析的提示调整方法，发现在低资源分裂的情况下，提示调整的 T5-xl 能够显著优于其微调和强 GPT-3 和 BART 基线表现。随着模型规模的增大，提示调整的 T5 模型在生成目标表示方面得到了进一步提高。
PDF3 years ago
ZeRO-Infinity：打破 GPU 内存壁垒，满足极端规模的深度学习
该论文提出了一项新的异构系统技术，称为 ZeRO-Infinity，它可以在有限的资源上实现前所未有的模型规模，同时实现出色的训练吞吐量和可扩展性，并且无需重构模型代码，是一个可以应用于当前 GPU 集群的技术。
PDF3 years ago