Y^2Seq2Seq：联合重建和预测视图和单词序列的三维形状与文本的跨模态表示学习

AAAINov, 2018

Y^2Seq2Seq：联合重建和预测视图和单词序列的三维形状与文本的跨模态表示学习

Y^2Seq2Seq: Cross-Modal Representation Learning for 3D Shape and Text by Joint Reconstruction and Prediction of View and Word Sequences

PDF

Zhizhong Han, Mingyang Shang, Xiyang Wang, Yu-Shen Liu, Matthias Zwicker

TL;DR本文提出了一种基于视角和词序列联合重构和预测的交叉模态表示 Y^2Seq2Seq 模型，采用新颖层次约束的方法增加交叉模态表示的辨别力，并在交叉模态检索和 3D 形状字幕生成上实现了更好的性能表现。

Abstract

A recent method employs 3D voxels to represent 3d shapes, but this limits the approach to low resolutions due to the computational cost caused by the cubic complexity of 3D voxels. Hence the method suffers from a lack of detailed geometry. To resolve this issue, we propose Y^2Seq2Seq,

3d shapes y^2seq2seq view-based model cross-modal discriminative information

发现论文，激发创造

SeqXY2SeqZ：通过从 2D 坐标序列预测 1D 占用段来学习 3D 形状的结构

该研究提出了一种使用 2D 函数来表示 3D 形状的方法，避免了 3D 采样的缺点，并通过一个名为 SeqXY2SeqZ 的模型学习 3D 形状的结构，表现出了比现有方法更好的性能。

Mar, 2020

Seq2Seq2Sentiment: 多模态序列到序列模型用于情感分析

本文提出了两种新的无监督联合多模态学习表示方法 ——Seq2Seq 模态翻译模型和分层 Seq2Seq 模态翻译模型，并通过 CMU-MOSI 数据集的多模态情感分析实验证明此方法优于基线模型在二模态情感分析方面的 F1 分值提升达 12 个百分点。

Jul, 2018

超越第一印象：整合多模态联合线索用于全面的 3D 表示

通过引入多视图联合模态建模方法，该研究论文提出了一种名为 JM3D 的新方法，以解决 3D 表示学习中的信息降解和不足协同问题，并在零样本 3D 分类任务上取得了领先于现有方法的性能。

Aug, 2023

JM3D 和 JM3D-LLM：借助联合多模态提示提升 3D 表示

为了解决 3D 数据与 2D 图像和文本的对齐问题带来的信息退化、协同不足和细节利用不充分的挑战，本文介绍了一种综合点云、文本和图像的综合方法 JM3D，其关键贡献是结构化多模态组织器和联合多模态对齐，通过高效的微调将 3D 表示与大型语言模型相结合，JM3D-LLM 在 ModelNet40 和 ScanObjectNN 的评估中表现出优势，进一步证明了我们的表示转换方法的有效性。

Oct, 2023

COM3D: 跨视图对应和跨模态挖掘在 3D 检索中的应用

研究中提出了 COM3D 方法，利用跨视图对应和跨模态挖掘来增强检索性能，并通过半硬负样本挖掘优化跨模态匹配过程，取得了 Text2Shape 数据集上最优的结果。

May, 2024

Point2Sequence: 基于注意力序列到序列网络学习三维点云的形状表示

本研究提出了一种名为 Point2Sequence 的新型深度学习模型，用于学习 3D 形状特征，通过一种新颖的隐式方法捕捉了区域内的细粒度上下文信息， Point2Sequence 采用点云的新颖序列学习模型，通过注意力归纳局部区域的多尺度范围来捕获相关性，实验结果在形状分类和分割任务中取得了最优表现。

Nov, 2018

TriCoLo: 用于精细文本形状检索的三模态对比损失

本文采用大批量对比学习的方法，提高不同模态数据的联合嵌入效果，实现超越先前文献的文本形状检索；同时，提出了三模态学习方案以更好地表示所有模态。

Jan, 2022

3D 生物医学分割的联合序列学习和跨模态卷积

本文提出了一个基于深度神经网络的编码器 - 解码器结构，包含跨模态卷积层以整合不同模态的 MRI 数据和卷积 LSTM 以建模 2D 切片序列，通过加权和两阶段训练来处理标签失衡，并在 BRATS-2015 数据集上实验表明超越了现有的生物医学分割方法。

Apr, 2017

基于 Transformer 的多视角三维重建

本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

Mar, 2021

视频问答与检索的联合序列融合模型

本文提出了一种名为 JSFusion（联合序列融合）的方法，可以测量多模式序列数据（例如视频剪辑和语言句子）之间的语义相似性，并通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似度得分，该模型适用于多模式检索和视频 QA 等任务，并在多个数据集上超过了现有的许多最先进的方法。

Aug, 2018