关键词autoregressive modeling
搜索结果 - 12
- SketchGPT：基于自回归模型的素描生成与识别
我们提出了 SketchGPT，这是一个灵活的框架，使用序列到序列的自回归模型进行素描生成和完成，并进行了一个解释性案例研究用于素描识别。
- AAAI面向视觉表征学习的语义感知自回归图像建模
自主训练自回归模型在计算机视觉中的发展滞后于自然语言处理，本研究提出了一种基于语义感知的自回归图像建模方法，通过对补丁的特征相似性进行排序，将自回归建模从语义补丁扩展到非语义补丁，并探索了使用补丁特征作为预测目标的方法，实验表明该方法在图像 - ViR: 视觉记忆网络
基于自注意力机制的视觉转换器（ViTs）因其对长距离空间依赖关系和大规模训练的出色能力而受到了广泛的关注，然而，其二次复杂度限制了其在许多需要快速推理的场景中的应用。受到自然语言处理中并行化模型的启发，我们提出了一种新的计算机视觉模型，命名 - 分层注意力编码器解码器
本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。
- 位置至关重要！知识驱动对话中的顺序效应实证研究
本文针对对话系统中的知识输入顺序问题，通过实验探究了知识输入顺序对自回归对话模型输出的影响，并提出一种通过修改位置嵌入的简单有效方法解决了这一问题。实验结果表明该方法能够让模型均匀地考虑每个知识声明。
- AAAI探索随机自回归图像建模以获取视觉表征
本文针对自回归模型在计算机视觉领域无法与其他自监督学习方法相比的问题，通过引入随机排列策略和并行编码 - 解码训练过程，提出了一种名为 SAIM 的新型随机自回归图像建模方法，取得了极大的性能提升，特别是在基于 ImageNet-1K 数据 - EMNLP使用语言模型的自回归结构预测
本文研究 NLP 中使用预训练语言模型（PLM）的结构化预测问题，描述了一种基于 PLMs 的结构建模方法，在命名实体识别、端到端关系提取和指代消解三个任务上实现了最新的最优性能。
- ECCV自回归不确定性建模：3D 边界框预测
本研究针对计算机视觉应用中对三维边界框的预测挑战，提出了自回归预测方法来改进输出分布的建模，并采用自身数据集 COB-3D，并探索实际机器人应用中新的模糊不确定性，最终在 SUN-RGBD、Scannet、KITTI 和本文提出的数据集上取 - ICLR利用语义耦合的 VQ 模型进行语义图像合成
通过与向量量化模型预训练的条件式合成潜空间，联合学习条件潜空间和图像潜空间，进一步提高自回归模型的建模能力，并在多个图像数据集上验证其能有效改进语义图像合成性能。
- CVPR使用残差量化的自回归图像生成
本文提出了一种两阶段的框架，由残差量化 VAE（RQ-VAE）和 RQ-Transformer 组成，旨在有效地生成高分辨率图像，通过精确的逼近，我们可以将 256×256 像素的图像表示为 8×8 特征映射，并且 RQ-Transform - 一个无需关注机制的 Transformer
本研究提出了 Attention Free Transformer (AFT) 框架，它采用了一种高效的元素级别的矩阵运算，不需要使用点积自注意力机制，通过引入位置偏移可以降低存储复杂度，同时实现了全局连接与本地化结合的空间权重共享。在 C - 双向与自回归变换器的多样图像修复
BAT-Fill 提出了一种图像修复的新框架，使用了基于 transformers 的双向自回归模型，在考虑到上下文信息的基础上修复缺失或破损的区域，使得修缮后的图片具有更好的内容多样性和视觉效果。