transformer-based large language models | BriefGPT

关键词transformer-based large language models

搜索结果 - 31

在长上下文大语言模型中推进 Transformer 架构的综合调查
该研究论文主要针对基于 Transformer 的大型语言模型的长上下文能力进行了模型架构的改进，并提供了与之相关的评估需求以及未来研究的挑战和潜在方向。
PDF7 months ago
系统 2 关注力（您可能也需要）
为了改善 Transformers 大型语言模型中软关注对上下文的无关信息进行纳入对下一个标记生成产生副作用的问题，我们引入了系统 2 关注（S2A），它利用语言模型推理和遵循指令来决定应该关注什么，并通过重构上下文来提取相关部分，然后关注
PDF7 months ago
UT5：使用展开去噪预训练非自回归性 T5 模型
通过展开去噪并展示其在下游生成任务中的最先进结果，我们研究了 T5 模型的非自回归无监督预训练。
PDF8 months ago
转移分子基础模型以预测聚合物性质
使用在小分子上预训练并在聚合物属性上微调的 Transformer 模型，可以达到与在扩增聚合物数据集训练的模型相当的准确性，对于一系列基准预测任务来说。
PDF8 months ago
注意力透镜：一种解释机制注意头信息检索机制的工具
利用学习的注意力头特定转换，Attention Lens 将注意力头的输出转化为词汇标记，揭示了注意力头在语言模型中的高度特殊化角色。
PDF8 months ago
CLEX: 大型语言模型的连续长度外推
建议一种基于连续长度外推（CLEX）的 Transformer-based Large Language Models (LLMs)，可将 context window 扩展到训练序列长度的 4 倍或 8 倍，并在实际任务中表现出竞争性性能
PDF8 months ago
关注满足：论语言模型的事实错误的约束满足视角
使用 Transformer-based 大型语言模型，研究当其生成错误的文本时的内部行为；将事实查询建模为约束满足问题，并使用该框架来研究模型与事实约束的内部交互；通过研究包含超过 40,000 个提示的 11 个数据集，在各种规模的 L
PDF9 months ago
LM-Infinite：大语言模型的简易即时长度泛化
基于 Transformer 的大型语言模型存在长度泛化问题，传统的预训练模式需要耗费大量时间和资源进行解决，本研究提出了一种简单而有效的解决方案 LM-Infinite，不需要参数更新或学习，具有计算效率高且生成质量好的特点，在长序列上有
PDF10 months ago
CodeCoT 及其进展：学习像开发者一样编程和测试
采用自我审查和连续推导的方法，我们提出了一种名为 Code Chain-of-Thought（CodeCoT）的新策略，通过辅助 LLM 模型生成代码和改进输出，从而显著提高了代码生成的准确性。
PDFa year ago
将符号推理与语言建模相结合，实现对非结构化电子医疗记录的高效纵向理解
人工智能在医疗保健领域的应用具有革命性，特别是在基于变压器的大型语言模型 (LLM) 的最新进展方面。本文研究了将符号推理与语言建模相结合，以改进对非结构化临床文本的理解的能力。我们展示了这种组合方式提高了从非结构化记录中提取多个医学变量的
PDFa year ago
大型语言模型的紧急自主科研能力
本论文展示了一个结合多个大型语言模型的智能代理系统，可自主设计、规划和执行科学实验，并通过三个不同的实例展示代理的科学研究能力，最为复杂的是成功执行加催化交叉偶联反应。最后，讨论了这种系统的安全影响，并提出了防止滥用的措施。
PDFa year ago