transformer-based architecture | BriefGPT

关键词transformer-based architecture

搜索结果 - 109

DICE：从单一图像捕捉手脸互动的端到端变形
DICE 是一种基于 Transformer 的全新的、从单张图像中重建具有变形的手 - 脸互动的方法，其特点是通过将本地变形场和全局网格顶点位置的回归分离到两个网络分支，从而增强精确而稳健的手 - 脸网格恢复中的变形和接触估计。我们的实验
PDF8 days ago
航空交通管制中的联合与顺序发言者 - 角色检测及自动语音识别
利用空中交通管制数据进行自然语言处理需要进行预处理步骤，我们提出了一种基于 Transformer 的联合语音识别（ASR）和说话人分离（SRD）系统，比较了该系统与传统方法在多个 ATC 数据集上的性能，研究显示了何种情况下该联合系统能够
PDF15 days ago
利用自然语言提示控制语音合成中的情感
我们提出了一种通过由情感丰富的文本衍生出的嵌入来作为提示信息的系统，通过在基于 Transformer 的架构内多次集成发言者和提示信息的联合表示。我们的方法在合并情感语音和文本数据集上进行训练，并在每次训练迭代中变化提示信息，以增加模型的
PDF24 days ago
行为结构形成器：使用结构化标记化学习玩家表示
本文介绍了 Behavior Structformer，一种在基于 Transformer 的架构中使用结构化标记化来建模用户行为的方法。通过将跟踪事件转换为密集标记，该方法提高了模型训练的效率和有效性。通过消融研究和与传统的表格和半结构化
PDFa month ago
PVTransformer：用于可扩展的三维物体检测的点对体素变换器
信息瓶颈限制了 3D 物体检测的准确性和可扩展性，因此我们提出了基于 Transformer 的 PVTransformer 架构，通过用注意模块替换 PointNet 池化操作来改善点到体的聚合函数，从而在广泛使用的 Waymo Open
PDF2 months ago
GS-LRM: 三维高斯喷射的大规模重建模型
我们提出了 GS-LRM，一个可扩展的大型重建模型，可以在单个 A100 GPU 上从 2-4 个稀疏图像中预测高质量的 3D 高斯原语，并在 0.23 秒内完成。我们的模型采用了非常简单的基于 transformer 的架构；我们对输入的
PDF2 months ago
冷启动内容推荐的通用项目表示学习
冷启动商品推荐是推荐系统中一个长期存在的挑战，常见的解决方法是使用基于内容的方法，然而，多种形式的原始内容中的丰富信息尚未充分利用。本文提出了一种面向冷启动推荐的领域 / 数据无关商品表示学习框架，通过采用基于 Transformer 的架
PDF2 months ago
DoughNet: 一个用于变形物体拓扑操作的视觉预测模型
利用 DoughNet，这是一个基于 Transformer 的架构，可以准确预测弹塑性物体中可能引发的拓扑变化，从而帮助计划弹塑性物体的相互作用和机器人操作。
PDF3 months ago
用常识推理提供更好的语境进行情感理解的 VLLMs
利用视觉和大规模语言模型（VLLMs）的开创性能力，我们提出了一种两阶段方法来增强上下文情绪分类，首先利用 VLLMs 生成自然语言描述主体与视觉情境之间的明显情绪，然后将这些描述与图像输入一起用于训练融合文本和视觉特征的基于变换器的结构，
PDF3 months ago
FiP: 因果生成建模的固定点方法
基于新的等效形式主义，提出了一种新的因果生成模型，利用拓扑排序从观测值中推断顺序，设计了基于 Transformer 的架构来学习固定点结构因果模型，并通过广泛的评估表明该模型在生成的超出分布问题中胜过多个基准模型。
PDF3 months ago
CVPRPointInfinity: 分辨率不变的点扩散模型
PointInfinity 是一种高效的点云扩散模型，使用基于 transformer 的架构和固定大小的分辨率不变的潜在表示，可以在训练过程中使用低分辨率点云实现高效训练，同时在推理过程中生成高分辨率的点云。实验表明，PointInfin
PDF3 months ago
神经组合优化的自我改进：无替换抽样，仅改善
通过结合行为克隆和增强学习方法，本文简化了端到端的神经组合优化训练过程，采用随机抽样解决方案并利用概率策略改进来提高模型性能，在旅行推销员问题和车辆路径问题方面取得了令人满意的结果，并应用于作业车间调度问题，超越现有的方法。
PDF3 months ago
LG-Traj: LLM 指导的行人轨迹预测
通过引入 Large Language Models (LLMs)，本研究探究了使用 LLMs 改进行人轨迹预测任务的可能性，通过诱导运动线索生成物体过去 / 观察到的轨迹中的运动线索，并利用混合高斯聚类未来轨迹中的运动线索。我们的方法采用
PDF4 months ago
KDD基于 Transformer 的多任务学习用于图像标题生成和物体检测
本文介绍了一种创新的多任务学习框架，将图像描述和目标检测结合为一个联合模型。通过联合训练，该模型充分利用了两个任务之间的互补信息，使图像描述的性能得到改进。我们的方法利用了一种基于 Transformer 的架构，实现了端到端的网络集成，同
PDF4 months ago
ActFormer：通过主动查询实现可扩展的协作感知
本研究提出了一种基于 Transformer 的体系结构，旨在处理依靠摄像机协同感知的扩展性问题。该体系结构通过智能地辨别协作者及其相关摄像机的关联性，以学习的空间先验来主动理解视觉特征的相关性，从而提高通信和计算效率，实现多智能体协同三维
PDF4 months ago
高分辨率图像合成的缩放修正流变压器
对于高维感知数据，扩散模型生成通过将数据从噪声逆向转换而得，并已成为一种强大的生成建模技术。最近，矫正流是一种将数据和噪声连接在一条直线上的生成模型表达形式。本研究通过偏向感知相关尺度来改进现有的噪声采样技术，以训练矫正流模型。通过大规模研
PDF4 months ago
放松休息 ++：利用慢速电视和婴儿电视扩展超越地面真实深度
通过自监督学习，本研究提出两个新的数据集：SlowTV 和 CribsTV，用于解决自监督单目深度估计 (SS-MDE) 中缺乏多样性训练数据的问题。这些数据集是从公开可用的 YouTube 视频中精心策划而来，包含总共 200 万个训练帧
PDF4 months ago
VisionLLaMA：一个统一的视觉任务 LLaMA 接口
该研究论文介绍了一种基于转换器架构的大型语言模型，探讨了该转换器是否能够用于处理二维图像，并提出了一种名为 VisionLLaMA 的类似 LLaMA 的视觉转换器，用于解决各种视觉任务，并在图像生成中展现出显著的改进。该研究代码将在指定的
PDF4 months ago
Snap Video：用于文本到视频合成的缩放时空 Transformers
生成高质量、时空连贯、动作复杂的视频，提升图像模型的视频生成能力，并减少运算负载。
PDF4 months ago
使用部分遮罩融合格罗莫夫 - 瓦瑟斯坦匹配的端到端监督预测任意大小的图
我们提出了一种新颖的端到端深度学习方法，用于监督图预测。我们引入了一种原始的基于最优传输的损失函数，即部分遮蔽融合 Gromov-Wasserstein 损失函数（PM-FGW），可以直接利用图形表示（如邻接和特征矩阵）。PM-FGW 具有
PDF4 months ago