- 通过图算法理解 Transformer 推理能力
Transformer 自动缩放机制、算法推理能力的研究（深度、宽度、额外标记数）及在图推理任务中的优秀表现。
- DEPTH：分层预训练的议程教育
深度是一个编码器 - 解码器模型，通过在预训练过程中引入面向语篇的目标来提高语言模型在语篇层面上的理解能力。通过结合层次化的句子表示和两个目标：句子重排和跨度破坏，深度能够更快地学习语义和语篇级别的表示，从而拓展了 T5 在语篇能力方面的表 - 变换器在不同深度下能学到什么？对序列学习任务的案例研究
我们研究了具有不同深度的 transformer 架构的能力，通过设计了一套新的序列学习任务系统地评估和理解深度对 transformer 在记忆、推理、泛化和上下文泛化方面的影响。我们发现只有一个注意力层的 transformer 在记忆 - 人类行为分析的缩小差距：合成三模数据的流程
通过利用基于 RGB 图像得出的人体分割掩码，结合自动获取的热度和深度背景，利用条件图像到图像转换技术，我们生成了三模态数据，为具有有限数据、恶劣照明条件或隐私敏感领域的模型训练提供了支持。
- 初始化对过参数化神经网络的隐私 - 效用分析
过度参数化和随机化机器学习算法对其训练数据的信息泄露有何影响，通过解析分析我们得出了模型分布间的 KL 散度的隐私界限，并研究其对全连接神经网络的初始化、宽度和深度的依赖性。我们发现，这个 KL 隐私界限很大程度上由训练过程中的模型参数相对 - 深度和宽度对 Transformer 语言模型泛化的影响
通过对 transformers 进行实验，我们发现深度模型相比较较浅模型能更好地进行组成性泛化，并得出更深的模型在语言建模性能上表现更好的结论。
- 神经网络：深度、浅层，还是中间？
我们对用具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络的输出来逼近某个 Banach 空间中的紧致子集的误差给出了下界估计。我们证明，除了神经网络，只有当深度 l 趋于无穷大时，才有可能得到比熵数更好的速率，而如果我 - 利用单个 ToF 相机实现 RGB-D 级别的分割性能
本研究使用红外和深度图像进行语义分割，通过多任务学习框架以深度特定卷积融合来自单个 ToF 相机的 IR 和深度模态，在汽车分割数据集上，我们展示了我们的方法与更昂贵的 RGB-D 方法的竞争力。
- 学习特征中的瓶颈结构：低维度与规则性的权衡
该研究旨在证明具有大深度和 L2 正则化的 DNN 在学习输入时会产生 “瓶颈结构”（低维表示），并介绍了一种衡量网络内在维度和复杂性 / 不规则性之间平衡的方法。
- 使用复数深窄神经网络的通用逼近
本文研究了有界宽度和任意深度的复值神经网络的普适性，给出了激活函数对于网络是否能够进行任意精度的连续函数逼近的充分条件，并证明进行逼近所需的最小宽度。
- ViDaS 视频深度感知显著性网络
本文介绍了一种称为 ViDaS 的全卷积双流深度感知显著性网络，使用 RGB 和深度流作为输入，利用编码器 - 解码器模型获得显著性图来预测人类在 “野外” 环境中的注意力，经过在多个不同数据库中的测试和评估，该方法在大多数情况下优于现有的 - 有限发射次数下近场 iToF LIDAR 深度提高
利用单个调制频率的较少原始数据样本和传感器灰度输出来减少激光组件的应力和功耗，我们研究了两种不同方法以恢复 LiDAR 的整个深度范围。
- 深度学习中的鲁棒性：好（宽度），坏（深度）和丑陋（初始化）
在深度神经网络中研究了平均鲁棒性概念，研究了宽度、深度和训练模式对其影响，并且针对不同的初始化方法证明了有助于和有害于鲁棒性的特性。
- 宽与深：自监督语音模型任务不可知知识蒸馏的学生网络架构分析
本文通过实证研究发现在深度自监督学习中保持一定的深度可以提高各种面向内容的任务的准确性，同时保持一定的宽度可以提高多个面向说话人的任务的性能。基于这些观察，我们为 SUPERB 识别出了一个具有更好性能的压缩模型。
- 基于物理的单图像室内场景光照编辑
本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。
- 具深度先验知识的室内场景 3D 合成
该研究提出了一种基于深度的双通道生成器和可切换鉴别器，用于从 2D 数据中合成 3D 感知室内场景的图像，并通过实验表明，该方法可以显著优于现有的最先进的方法。
- 模型魔方：针对 TinyNets 的旋转分辨率、深度和宽度调整
本文通过设计一系列技术，探究获得带有最小模型大小和计算成本的深度神经网络的扭曲规则。TinyNet 通过一系列 EfficientNet-B0 的小型模型总结了一种缩小神经构架的微小公式，并且实验证明 TinyNet-E 的 Top-1 准 - 利用亚线性参数的深度神经网络实现可证明的记忆
通过利用神经网络的深度，本文表明在输入点之间存在较小的条件下，$O (N^{2/3})$ 参数就足以记住 $N$ 个输入对，并提供了支持我们理论结果的实证结果。
- ICML正则化流中深度和条件化的表征特征
本文研究了对于对数几率模型的归一化流表示，主要关注模型深度和分区选择实现上的困难。结果表明，每个分区仅需 Theta (1) 个仿射耦合层就足以精确表示排列或者 1*1 的卷积，同时也被证明具有较好的普适性。同时我们也展示了对于少量神经元元 - CVPROASIS：野外单张图像三维大规模数据集
本研究提出了 Open Annotations of Single Image Surfaces (OASIS) 数据集，其中含有 140,000 张图像的详细 3D 几何注释，用于解决由于数据不足导致的单张图像 3D 恢复的问题，并在多项