- 一张图像胜过 16x16 贴片：研究基于单个像素的 Transformer 模型
本研究发现在计算机视觉体系结构中的归纳偏置 —— 局部性的必要性存在疑问，可以通过直接将每个像素视为标记并获得高性能结果来展示像素作为标记的有效性。
- ICLR卷积神经网络、局部感受野网络和完全连接网络在图像任务中的地域性和权重共享作用：一种样本复杂度分离
传统卷积神经网络在视觉任务中通过局部性和权重共享的归纳偏差来获得出色的性能。本研究通过引入动态信号分布分类任务，证明了在平移不变任务中，卷积神经网络相比于局部连接卷积神经网络和全连接神经网络具有统计优势，并展示了在本地任务中，局部连接卷积神 - 哈密顿性质测试
我们提出了一种基于随机化测量的非相干哈密顿局域性测试算法，用于测试泛型哈密顿局域性等一系列哈密顿性质。此外，我们证明了具有平均情形距离的泛型哈密顿学习仍然是指数复杂的，从而在哈密顿测试和学习之间建立了指数级的差距。
- 概念瓶颈模型是否遵循局部性？
CBMs 在局部和相似度方面无法准确捕捉概念的条件独立性，这对于 CBMs 学习的概念表示的质量以及基于概念的解释的鲁棒性产生了质疑。
- 关于学习流体动力学中的本地神经算子的局部性
本文讨论了局部神经算子（LNO）的局部性问题，探究了其感受野和感受范围，并发现初始感受范围对于 LNO 良好表现至关重要。通过大量实验验证，本文得出了适用于不同领域的局部神经算子学习瞬态偏微分方程的普适规律，并通过实际案例验证了预训练的 L - Receler: 轻量级擦除工具下文图异质扩散模型的可靠概念擦除
通过使用轻量级橡皮擦实现可靠的概念消除，本研究提出了 Receler；通过提出的概念本地化正则化和对抗性提示学习，增强了局部性和鲁棒性；与之前的擦除方法相比，通过各种概念提示进行了全面的定量和定性实验证实了 Receler 的优越性。
- 数据流中概念漂移局部性的全面分析
在线学习中，适应漂移数据流是一个重要挑战。本文提出了一种基于局部性和尺度的概念漂移分类方法，并构建了一套 2760 个基准问题，用于评估不同难度级别的漂移检测器。通过对 9 种前沿漂移检测器的综合评估，揭示了它们的优势和弱点，并为未来的研究 - 利用毛毛虫对小尺度图像进行采样
提出一种新的基于多层感知器（MLP）的网络，名为 Caterpillar，通过提出 Shifted-Pillars-Concatenation (SPC) 关键模块来利用局部感应偏置来解决 MLP 在小尺度图像上的应用问题，并在小规模数据集 - 在小数据集上通过本地归纳偏置引入提高视觉 Transformer 的性能
本文提出基于自注意力块的局部信息增强模块 LIFE，通过提取补丁级别的局部信息并将其合并到 ViTs 的嵌入中，在小尺寸图像分类数据集上改进了 ViTs 的性能，并将其推广到目标检测和语义分割等下游任务，在此基础上，引入了一种新的可视化方法 - 深度卷积网络中归纳偏见的理论分析
本文研究卷积神经网络中的归纳偏差，证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力，并通过对称性分析证明权重共享与局部性对学习的重要性。
- 基于 Transformer 的归纳偏置在点云分类和分割中的应用
本研究提出使用 Inductive Bias-aided Transformer（IBT）方法来学习点之间的 3D 联系，以增强自我关注机制，从而改善点云的分类和分割任务。
- PDSketch：一体化的计划域编程与学习
本文研究了一种模型学习和在线规划方法，目的是构建灵活、通用的机器人。具体而言，我们研究如何利用底层环境转换模型中的局部性和稀疏性结构，以提高模型泛化能力、数据效率和运行效率。我们提出了一种新的领域定义语言 PDSketch，允许用户灵活定义 - ICML分层张量分解和深度卷积神经网络中的隐式正则化
本文从动态系统的角度对深度学习中隐藏的正则化进行了理论分析，并研究了等效于一些深度卷积神经网络的分层张量因式分解模型中的隐藏正则化。最终证明了该模型会自动进行低阶张量秩的隐藏正则化，实现与卷积网络相应的局部性隐式正则化。我们基于该理论设计了 - Video Swin Transformer
本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。
- 在卷积师生场景中，本地性击败了维度诅咒
本文研究了以 ` 卷积 ' 内核为基础的教师 - 学生框架的核回归，使用物理学的启发式方法发现在无偏估计情况下，当教师的过滤器尺寸小于学生时，局部性是决定学习曲线指数 $\beta$ 的关键因素，而平移不变性则不是关键因素。
- ICLR优化器融合：更优秀的局部性和并行性的高效训练
本文提出将优化器与前向或后向计算融合，重新排序前向计算、梯度计算和参数更新，旨在更好地利用局部性和并行性，从而提高迭代优化器的效率。实验结果显示，这种方法可以在不改变优化器算法的情况下，实现多种配置的 20% 训练时间缩短。
- ICLR零样本学习中的局部性和组合性
本文探讨了零样本学习中代表性学习时的地域性和组成性，并证明了这些属性的重要性与泛化性相关。此外，该研究也证明了在未通过不同数据集（如 ImageNet）进行预训练的情况下学习代表性的可行性。因此，未来的代表性学习研究应着重于更加关注本地化特 - AAAI面向易处理本体中介查询应答的通用语言
本文研究了三类 OMQA 语言，并提出了一种新的性质，locality，用于近似一阶重写。证明了对于每一类 OMQA 语言并不存在通用的语言，但是存在一种包含离散嵌入依赖的语言可以表示 OMQA 语言簇。
- LASAGNE: 考虑局部性和结构的图节点嵌入
Lasagne 提出一种无监督学习的方法，学习利用局部信息和图结构生成图节点嵌入，利用 Approximate Personalized PageRank 统计分布来更精确地生成本地信息。在大型扁平的网络社区轮廓的图中，它比现有方法具有更高 - 局部处理的卷积字典学习
本文介绍了基于局部稀疏度量的全局模型，解决了传统基于补丁的稀疏表达的限制，通过操作图像补丁来解决卷积稀疏追踪问题并训练涉及的滤波器，为图像修补和分离问题提供了一种直观的算法。