inductive bias | BriefGPT - AI 论文速递

关键词inductive bias

搜索结果 - 152

探索基于频率感知的跨域少样本分类
通过提出一种基于频率感知提示的方法，该方法使用双向注意力模块来模拟人类视觉感知，在跨领域少样本分类中能够改善现有方法的性能。
PDF8 days ago
IJCAI迈向归纳偏差的精确计算
我们提出了一种计算归纳偏差的新方法，该方法涉及对来自假设空间的随机假设的损失分布进行建模，以估计相对于这些假设需要的归纳偏差，从而提供了一种信息理论解释特定模型架构对特定任务的好处的度量，并为开发需要更大归纳偏差的任务提供了定量指导，从而鼓
PDF10 days ago
一张图像胜过 16x16 贴片：研究基于单个像素的 Transformer 模型
本研究发现在计算机视觉体系结构中的归纳偏置 —— 局部性的必要性存在疑问，可以通过直接将每个像素视为标记并获得高性能结果来展示像素作为标记的有效性。
PDF19 days ago
解读超复数：超复数深度学习中的归纳偏好
为了更高效和准确地解决多维信号处理问题，本文提供了一个基础框架来解释超复深度学习方法成功的原因以及如何充分利用其潜力，并以归纳偏差的理论框架来描述。这一新颖的超复深度学习视角将有助于使这一类方法更为清晰与易懂，并将其作为传统实数深度学习的替
PDF2 months ago
隐藏的协同作用：$L_1$ 权重归一化与 1 - 路径 - 范数正则化
提出了一种名为 PSiLON Net 的 MLP 架构，利用 $L_1$ 权重归一化来处理每个权重向量，并在层间共享长度参数。通过简化 1-path-norm 并提供对高效学习和近稀疏参数的归纳偏差，设计了 PSiLON Net。同时，提出
PDF2 months ago
无需种植树木的语法学习：理解变换器何时以及何种方式实现分层普遍化
透过对自然语言数据训练的 Transformer 模型的研究和实验证明，具备语言建模目标的 Transformer 模型更容易学习和推广层次结构，并在处理无法预见的句法结构的句子时表现优异。
PDF2 months ago
HSViT：水平可扩展的视觉 Transformer
这篇论文介绍了一种新型的水平可伸缩视觉转换器 (HSViT)，通过引入新的图像级特征嵌入和设计创新的水平可伸缩架构，以减少模型的层数和参数数量，并促进 ViT 模型在多个节点上的协同训练和推理，从而实现比现有方案高多达 10% 的 top-
PDF3 months ago
GvT: 一种利用稀疏性进行训练的基于图的视觉 Transformer 模型，使用自由发挥，从头开始在小数据集上训练
使用基于图卷积投影和图池化的图神经网络（GvT），并通过基于双线性池化特征和注意张量的稀疏选择的讲话头技术解决注意头降维问题，以及应用图池化来有效降低标记数量和聚合语义信息，实验结果表明 GvT 在小数据集上超越了卷积神经网络和预训练的视觉
PDF3 months ago
揭示 LLM 在时间数据上的不同归纳偏见
大型语言模型（LLMs）在理解并处理时间动态方面仍面临巨大挑战，本研究通过对 GPT-3.5 和 GPT-4 模型在分析时间数据时的性能评估，揭示了它们之间的差异和为特定时间关系偏向的倾向，而这种模型间的持续差异突显了 LLMs 的归纳偏见
PDF3 months ago
COLING探索上下文学习与组合泛化之间的关系
通过在不同顺序的训练实例和打乱实例标签中训练模型，以测试强迫模型进行上下文学习对组成概括的促进作用的假设，研究表明，以这种方式训练的模型在组成概括方面确实显示出改进，证明了上下文学习问题作为归纳偏差用于概括的有效性。
PDF3 months ago
XB-MAML: 学习可扩展基础参数以实现具有广泛任务覆盖的有效元学习
XB-MAML 通过学习可扩展的基础参数，在多领域元学习基准测试中超过现有方法，为获得多样的归纳偏差并结合以达到对多样未知任务的有效初始化开辟了新的机会。
PDF4 months ago
CVPR少样本学习者参数化的扩散时间步
通过使用时间步骤能够隔离微妙的类属性，我们提出了一种用于少样本学习的时间步骤学习器，该学习器通过训练特定于每个类别的低秩适配器来补偿丢失的属性，从而在各种细粒度和定制的少样本学习任务上显著优于 OpenCLIP 及其适配器。
PDF4 months ago
Tokenization 计数: Tokenization 对前沿 LLM 模型中的算术的影响
数字分词选择对算术任务模型效果产生显著影响；使用从右到左的分词方式能够明显提升性能，并显示出模型计算具有系统性；针对左到右分词方向模型的错误模式进行了深入分析，发现模型能够轻松转换分词方式
PDF4 months ago
面对扩散模型中的奖励过优化：归纳和初要偏见的视角
通过引入时间感知、激活神经元重置的策略，我们提出了一种优化算法以降低扩散模型中的奖励过度优化问题，实证结果表明其在缓解奖励过度优化方面具有显著的有效性。
PDF5 months ago
探索变形金刚的归纳偏差：从无限的视角
在无限过参数化的高斯过程极限中，我们研究了 Transformer 中的归纳偏置，并认为 Transformer 更倾向于对序列空间中的更多置换对称函数有偏见。通过展示对称群的表示理论的运用，我们可以在数据集对令牌之间的置换对称时给出定量分
PDF5 months ago
卷积初始化用于数据高效的视觉 Transformer 模型
我们研究了在小数据集上训练视觉转换网络所面临的挑战，发现卷积神经网络可以通过利用其体系结构归纳偏差实现最先进的性能。我们探索了这种归纳偏差是否可以重新解释为视觉转换网络中的初始化偏差，并提出了一种新的初始化策略，可以在小数据集上实现与卷积神
PDF5 months ago
Transduce：学习用于字符串转换的转导文法
从输入输出示例中综合字符串转换程序，利用各种技术，基于归纳偏差，包含一组受限基本运算符进行组合。提出了一种新算法 Transduce，基于抽象转导语法及其概括。我们通过实验证明，Transduce 可以在没有归纳偏差的情况下有效地学习位置转
PDF7 months ago
通过实证研究提升数据集蒸馏的跨架构泛化能力
通过实证研究，本文提出了一种新颖的评估方法 ELF，通过利用蒸馏模型的中间层特征进行跨架构评估，从无偏重的知识中学习，以提高当前 DD 方法的跨架构泛化能力。
PDF7 months ago
TimeDRL：多变量时序数据的解缠结表示学习
TimeDRL 是一个通用的多变量时间序列表示学习框架，通过解耦的双层嵌入技术，利用预测和对比损失来学习时间戳级别和实例级别的嵌入，避免了数据增强方法引起的归纳偏差，并在多个实验中表现出优于现有方法的性能。
PDF7 months ago
关于 Transformer 模型的长程能力
通过对 Transformer 架构进行最小的修改，引入长距离任务的归纳偏差、位置性等重要特性以提升性能，并为成功捕捉长距离依赖关系确定了关键属性。
PDF7 months ago