提出了基于 Transformer 的 CAD 生成模型，能够自动编码和随机生成 3D 形状，为此创建了一个包含 178,238 个模型的 CAD 数据集，并公开该数据集以促进未来的研究。

May, 2021

计算机辅助设计（CAD）模型生成是一项重要任务，提出了一种利用卷积神经网络、多视角池化和基于转换器的 CAD 序列生成器的网络架构，通过大量的模拟输入图片进行训练和优化，成功地从测试图像数据重建有效的 CAD 模型，并表明该网络的一些能力可以迁移到实际照片领域，然而目前可行的模型复杂度仍然受限于基本形状。

Sep, 2023

提出了一种基于图神经网络的自监督对比学习方法，用于机械 CAD 检索，可以直接建模参数化 CAD 原始文件，提高检索准确性和效率。

Jun, 2024

通过对已有数据样本进行最小且充分的修改以改变其标签，Counterfactually Augmented Data (CAD) 创建新的数据样本。与 CAD 训练可以增强模型对与标签相关的偶然特征的鲁棒性相比，最新的研究表明，通过 CAD 训练可能导致模型过分关注修改后的特征，而忽视其他重要的上下文信息，无意中引入可能损害在分布外数据集上性能的偏见。为了缓解这个问题，在学习反事实线索的同时，我们采用对比学习来促进全局特征对齐。我们在两个人工编辑的 CAD 数据集上进行了全面的实验证明，我们提出的方法在分布外数据集上优于现有技术。

Jun, 2024

当前成功的三维场景感知方法依赖于大规模标注的点云，获取费时费力。本文提出了 Model2Scene，一种新颖的范式，从计算机辅助设计 (CAD) 模型和语言中学习自由的三维场景表示。主要挑战是 CAD 模型与真实场景对象之间的领域差异，包括模型到场景的转换和合成模型到真实场景对象的转换。为了应对上述挑战，Model2Scene 首先通过混合数据增强的 CAD 模型模拟拥挤的场景。然后，我们提出了一种称为深凸包正则化 (DCR) 的新颖特征正则化操作，将点特征投影到统一的凸包空间，减小领域差距。最后，我们对 CAD 模型的语言嵌入和点特征进行对比损失的预训练，形成 3D 网络。大量实验证实了学习到的三维场景表示对各种下游任务的益处，包括无标签三维物体显著目标检测、标签高效三维场景感知和零样本三维语义分割。值得注意的是，Model2Scene 在 ScanNet 和 S3DIS 数据集上实现了令人印象深刻的无标签三维物体显著目标检测，平均 mAP 分别为 46.08% 和 55.49%。代码将公开提供。

Sep, 2023

基于 CAD 模型基元从 RGB 图像中感知 3D 结构可以有效地实现基于三维物体的场景表示，本文提出了 DiffCAD，这是一种第一个弱监督的条件生成方法，可以从 RGB 图像中检索和对齐 CAD 模型，通过扩散学习隐式概率模型来捕捉 CAD 对象在图像中的形状、姿态和尺度，实现了多个假设生成和对深度 / 尺度和形状匹配的歧义进行建模。

Nov, 2023

本文介绍了一个完全自动且任务不可知的 CAD 生成框架 AutoCAD，该框架结合分类器解析生成对抗数据，通过不太可能的训练生成多样性的对抗，从而系统提高了不同 NLU 任务的预训练模型在多个挑战基准测试中的翻译能力。

Nov, 2022

研究自监督视频表示学习中的对比方法，提出一种考虑数据增强变量的对比学习框架，以提高针对时间信息进行的微粒视频动作识别的性能，并在多个视频基准测试中达到最先进水平。

Apr, 2021

本文提出了一种自监督学习方法，用于视频特征，与现有方法相比在下游任务中表现显著提高，通过将文本序列的 BERT 模型扩展到实值特征向量序列的情况，以噪声对比估计取代 softma 损失函数，同时展示了如何从可视特征序列和 ASR 派生的词序列中学习表示，并且表明这样的跨模态训练可以进一步提高性能。

Jun, 2019

本文提出了一种新框架，使用双向 Transformer 进行对比学习，针对顺序推荐中用户行为不是严格的从左到右顺序这一问题进行改进，同时采用滑动窗口技术，结合 Cloze 任务掩码和 Dropout 掩码来生成高质量正样本，并进行多对比学习，通过实验结果表明，相较于传统单一对比学习，该框架表现更优越。

Aug, 2022