auto-regressive models | BriefGPT

关键词auto-regressive models

搜索结果 - 14

导航迷宫：评估和提高 LLMs 处理搜索问题的能力
最近，大型语言模型在数学和推理基准测试中取得了令人瞩目的表现。但是，它们在对人类而言相对容易的逻辑问题和谜题上仍然经常遇到困难。为了进一步研究这个问题，我们引入了一个名为 SearchBench 的新基准测试，其中包含 11 种独特的搜索问
PDF17 days ago
MeshXL：用于生成式三维基础模型的神经坐标场
验证了 NeurCF 作为大规模顺序网格建模的简单有效表示，提出了 MeshXL，一种基于现代大型语言模型方法处理 3D 网格生成的生成式预训练自回归模型家族。通过广泛实验表明 MeshXL 能生成高质量的 3D 网格，并可作为各种下游应用
PDFa month ago
OpenCarbonEval：大规模 AI 模型中的统一碳排放估计框架
介绍了 OpenCarbonEval 框架，该框架能够评估和预测大规模模型的碳排放，并提供准确的碳排放预测，以帮助减少这些模型对环境造成的压力，并推动可持续的 AI 发展和部署。
PDFa month ago
通过训练动力学探索 “逆转诅咒” 的理论理解
通过训练动力学，理论分析自回归模型中的逆转问题，揭示了逆转诅咒发生的核心原因是自回归模型的权重存在不对称性；同时，证明了链式思维在一层变压器中的必要性，并进行了与多层变压器的实验证实。
PDF2 months ago
LaDiC：扩散模型在图像生成的文本方面真的不如自回归模型吗？
Diffusion models have the potential for enhancing image-to-text generation and surpass Auto-Regressive models by introdu
PDF3 months ago
高效利用语言先验进行场景文本定位
通过利用大型文本语料库中的语言知识，替换自回归场景文本定位和识别模型中传统的独热编码，提高了场景文本定位和识别性能，并实现了更准确的词语定位。
PDF4 months ago
推动自回归模型的 3D 形状生成能力与可扩展性
通过扩展自回归模型到三维领域并改进其容量和可扩展性，本文提出了一种名为 Argus3D 的新框架，利用离散表示学习基于潜在向量的三维形状生成，大大降低计算成本并保留几何细节，同时通过简单地连接各种条件输入来实现条件生成能力。经过广泛实验验证
PDF5 months ago
大型代码模型是否理解编程概念？黑盒方法
大型语言模型在文本生成方面的成功也使它们在代码生成和编码任务方面表现更好。然而，尽管有许多研究展示了它们在代码完成和编辑等任务上的出色性能，但是为什么如此仍然不清楚。我们通过研究来探讨自回归模型理解底层程序的逻辑结构的程度。我们提出了用于程
PDF5 months ago
EMNLPCodeFusion：一种用于代码生成的预训练扩散模型
在此研究中介绍了 CodeFusion 预训练扩散代码生成模型，通过迭代地去噪编码自然语言的完整程序来解决自回归模型无法重新考虑先前生成的令牌的局限性。通过对 Bash、Python 和 Microsoft Excel 条件格式规则的自然语
PDF8 months ago
MIM-OOD: 针对医学图像中的离群检测的生成式遮罩图像建模
使用两个与任务相关的 Transformer，通过应用 MIM 模型来替代 AR 模型，实现对脑部 MRI 异常的快速检测和修复，明显优于 AR 模型，并获得近 25 倍的加速。
PDFa year ago
针对自回归序列模型的广义知识蒸馏
本论文提出了一种推广的知识蒸馏方法，旨在解决在训练和生成阶段输出序列之间的差异，并通过优化替代的发散方法来处理模型不充分的问题。实验证明，Generalized Knowledge Distillation (GKD) 在压缩生成语言模型时
PDFa year ago
为支持空间科学与工程质量管理与保障培训生成测验
本文提出了一个系统，可以从关于太空质量保证程序的文档中生成测验，以评估培训效果。该系统利用了 T5 和 BART 等最先进的自回归模型来生成问题，并使用 RoBERTa 模型提取答案，从而验证问题的适用性。
PDF2 years ago
ACL通过建模远期来提升对抗文本生成
我们考虑一个文本规划方案，提出了一种基于模型的模仿学习方法，其中包括新颖的指导网络来关注更长时间内的生成过程，改善了局部流畅性和一致语义的问题，并带来了性能上的提升。
PDF4 years ago
并行计划采样
本文介绍了一种简单的方法，通过时间并行化可以减轻固定顺序随机替换预测值的 “计划采样”，并在图像生成、文本摘要、对话生成和翻译等任务中实现与传统教师强制训练相当或更好的性能。
PDF5 years ago