Oct, 2023

学习可叠加和可跳过的乐高积木，用于高效、可重构和可变分辨率漫射建模

PDF
TL;DR这项研究引入了乐高积木，通过无缝地整合局部特征增强和全局内容编排，设计了一种高效灵活的网络主干，用于迭代改进。乐高积木可以在测试时重新配置扩散主干，通过选择性跳过积木来减少采样成本并生成比训练数据分辨率更高的图像。实验结果表明，乐高积木提高了训练效率，加快了收敛速度，并在保持强大生成性能的同时促进了可变分辨率图像的生成。此外，与其他方法相比，乐高显著减少了采样时间，使其成为扩散模型的有价值增强。
diffusion modelscomputational costsnetwork backboneiterative refinementlego bricks
发现论文，激发创造
  • LegoFormer：面块级别多视角三维重构的变形器

    LegoFormer 是一种基于 transformer 模型的体素 3D 重建技术，通过使用自注意力层在所有计算阶段分享视角之间的信息，并将输出分解为低秩矩阵，从而实现对各个独立结构的预测和聚合，具有竞争性的性能和可解释性的优点，可用于现实数据的广义重建任务。

    Jun, 2021

  • 使用乐高揭示变形金刚：一项综合推理任务

    提出了一个综合推理任务 LEGO，研究了 Transformer 架构如何学习这个任务，特别关注预训练和数据组成等数据效应，从而提出了一种假设，在 LEGO 任务中预训练有所帮助，因为存在一定的结构化注意力模式，经实验证实。同时提出 LEGO 注意力模块，是 vanilla 注意力头的可替换选择，显著减少 Flops 并维持或甚至提高模型的大规模预训练性能。

    Jun, 2022

  • 使用 LEGO 积木实现交互式结构理解

    通过使用 LEGO 积木，构建 LTRON 立体互动模拟器及 LEGO 创作数据集，利用 sequence-to-sequence 模型实现交互式推理，推动面向基础几何理解的研究。

    Jul, 2022

  • Lego：在文本到图像扩散模型中学习解耦和反转概念

    该研究介绍了一种名为 Lego 的文本反演方法，用于从少量示例图像中反演与主体相关的概念。Lego 通过简单而有效的主体分离步骤以及引导单 / 多嵌入概念反演的上下文损失，成功实现了对这些概念的反演。在深入的用户研究中，与基准方法相比，Lego 生成的概念有超过 70% 的受试者更喜欢。此外，使用大型语言模型进行视觉问题回答的结果表明，Lego 生成的概念与文本描述更加一致。

    Nov, 2023

  • 利用空间 LSTMs 生成图像模型

    本文中介绍了一种基于多维 LSTM 的递归图像模型，该模型可以捕获长距离像素之间的统计依赖，适用于纹理合成和补全等多项任务，并在多个图像数据集上的定量比较中表现优异。

    Jun, 2015

  • LegoNN: 构建模块化编码器 - 解码器模型

    描述了 LegoNN 过程，它通过重新使用 decoder 模块来构建 encoder-decoder 结构，从而实现在各种机器翻译和语音识别任务中的重复使用，同时引入了一种模态不可知编码器来提高其可移植性。实验证明 LegoNN 模型的有效性。

    Jun, 2022

  • 所有都值得一提：一种适用于扩散模型的 ViT 主干网络

    本篇研究提出了一种基于 Vision Transformers 构建的简单通用的 U-ViT 架构，通过对时间、条件和噪声图像块等所有输入采用标记方法，并在浅层和深层之间采用长跳过连接，实现与同等大小 CNN-based 的 U-Net 相似的无条件和类条件图像生成，以及文本到图像生成任务的优化，具有不错的 FID 得分。该研究结果表明，对于基于扩散的图像建模，长跳过连接至关重要，而 CNN-based U-Net 中的下采样和上采样算子并非总是必要的。

    Sep, 2022

  • BricksRL：用乐高教育平台实现机器人与强化学习研究民主化

    BricksRL 是一个用于加强学习研究和教育的平台，它通过与 TorchRL 库连接，实现了在现实世界中创建、设计和训练定制的 LEGO 机器人，通过蓝牙双向通信与 LEGO 智能中枢交互，从而实现了 GPU 上的最先进的加强学习训练，为各种 LEGO 构建提供了灵活和高效的扩展方法。

    Jun, 2024

  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021

  • 通过优先记忆重置学习不同尺寸材料的设计和建造

    该论文提出了一种分层方法，包括基于强化学习的设计师和基于运动规划的操作生成器，通过采用优先记忆重置技术（PMR）并结合辅助训练目标和微调设计师等方法，实现了在模拟环境和实际机器人系统上利用多尺寸积木建造桥梁的高成功率。

    Apr, 2022