- NeuBTF:神经场用于 BTF 编码和传输
提出了一种新颖的神经材料表示方法,能够压缩、平铺和外推 Bidirectional Texture Functions (双向纹理函数),并能够学习表示许多光学特性。
- 曲率引导采样的权重感知隐式几何重建
该研究提出了一种利用插值与外推技术,通过有效计算几何特性和引入权重感知的隐式神经表示法,在有限的已知数据下重建具有优异定量和定性结果的表面,并能够处理非闭合表面的局部退化区域
- 学习外推:一种横式学习方法
本文研究了利用和超参数微调相关的重新参数化策略,增强深度学习系统在特定条件下的组合泛化能力,从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。
- CVPR用 Lookahead Diffusion 概率模型改进均值估计
本研究提出一种基于深度神经网络和先行扩散概率模型的方法,通过在反向过程中的外推方法进行修正,提高了条件高斯分布均值的估计精度,进而提高了 FID 得分。
- 使用连续地点描述符回归实现精准视觉定位的 CoPR 方法
该论文旨在提高基于图像的位置估计方法(Visual Place Recognition)的精度,作者通过提出一种连续的地点描述符回归方法(Continuous Place-descriptor Regression),在已有的参考图片上进行 - ICLR神经缩放定律失效
研究了神经网络在多种任务中的扩展行为及其泛化预测模型,提出一种称为 BNSL 的平滑断电力法函数形式,相较于其他神经网络扩展行为函数形式,其推广的预测更加准确、准确地模拟和推广其他函数形式无法表达的特定情况下的不单调转折点和明显拐点扩展行为 - Hadamard 乘积神经网络的外推与谱偏差:多项式网络研究
本文研究了神经网络训练动态和泛化界限的一个有力工具 —— 神经切向核(NTK),提出了有限宽度 NTK 理论在多项式神经网络中的应用,证明了在外推和特征偏差方面,多项式神经网络与标准神经网络的差异。
- 大型语言模型的归纳自然语言原理和交错标记令其具备外推能力
本文针对当前深度学习模型在长序列外推问题上存在的挑战,探讨了通过引入逐步解释和引入位置标记符来实现大规模语言模型的外推,强调了这两种补充方法是如何实现了显著的序列外推,并突出了当前体系结构在没有显式形式指导的情况下实现有效泛化的局限性。
- 当 AI 模型进行外推时我们应该信任它们到什么程度?
该论文探究了人工智能模型在数据输入超出训练集范围时的外推现象及其对社会应用的影响,并分析了外推在不同维度(如种族、性别和年龄)中的发生,并提出一种人文的解释方式。
- 高维度学习始终需要外推
本研究针对高维数据集中插值不可能发生的情况,从理论和实践角度出发,反驳了插值和外推能够准确指示泛化性能的说法,并挑战了当前插值 / 外推定义在泛化性能中的有效性。
- AAAI知识图谱嵌入如何外推到未见数据:语义证据视角
研究知识图谱嵌入在未知数据上的外推能力和建立更好外推能力的方法,通过三个不同层次的语义证据,提出了 Semantic Evidence aware Graph Neural Network (SE-GNN) 模型,达到了知识图谱完成任务的最 - 使用带线性偏置的注意力机制实现输入长度的外推:训练时短、测试时长
本文提出 Attention with Linear Biases (ALiBi) 方法,拟合模型课以推广到更长的序列,并比多种其他方法在 WikiText-103 基准测试上表现更好。
- ICLR学习单一环境下的反事实 G 不变性的神经网络
针对基于有限转换组的偏移推断问题,本文引入了一种由反事实引导的学习框架,其通过在模型中实现对于 (已知) 转换组的不变性来提高神经网络对偏移推断的鲁棒性,并通过序列和图像推断任务对此方法进行验证。
- 领域通用化中插值与外推的在线学习方法
本文在一个由风险最小化玩家和出题人提供新测试分布的在线游戏框架下,研究亚群体间的泛化。通过对子组概率似然性重赋权重的基础上,证明外推比内插计算复杂度高得多,而它们的统计复杂度没有明显差异。此外,我们表明 ERM 和含有噪声的变种对于两种任务 - AAAIDPM: 一种用于物理信息神经网络在外推方面的新型训练方法
提出了一种基于神经网络物理学的方法来学习复杂物理过程的动态学习,用于时间上的超出训练范围外的解决方案的外推,并使用新的改进 PINN,可以在时间上精确地外推解决方案。
- 神经网络如何外推:从前馈到图神经网络
研究使用梯度下降训练的神经网络如何外推,即他们在训练分布的支持外学习了什么。沿着这条线,作者发现了多层感知器和图神经网络的外推条件,并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。
- ICML支持外推的表征学习
本文考虑了学习支持外推的表示的挑战,引入了一种新颖的视觉类比基准和一种简单的技术:时间上下文归一化来支持关系强调的表示,接着发现该技术显著提高了外推能力,胜过了许多竞争技术。
- 神经网络无法学习周期函数及其解决方法
使用新型激活函数 $x + sin^2 (x)$,结合传统 ReLU 激活函数的优势,来解决传统激活函数(如 ReLU、tanh、sigmoid 等)在学习周期函数方面的普遍失败。经实验证明,该方法能够成功地预测温度和金融数据。
- 深度学习大批量训练中的外推
本文提出使用计算有效的外推方法来稳定优化轨迹,同时通过平滑避免锐减的局部最小值,从而解决了大批量训练数据下的模型精度退化问题并且在 ResNet、LSTM 和 Transformer 等模型下得到证明。
- ECCV针对手 - 物交互情况下 3D 手势姿态估计的未知视角、关节、形状和物体的泛化测量
研究 3D 手势姿势估计中不同类型方法的泛化能力,并通过公开挑战评估插值和外推的训练集姿势的能力,透彻分析了数据预处理、集成方法、使用参数化的 3D 手模型(MANO)以及不同的 HPE 方法 / 骨干网络对 3D 手姿势估计的影响,使得总