transformers | BriefGPT - AI 论文速递

关键词transformers

搜索结果 - 987

RSDehamba: 轻量级遥感卫星图像去雾视觉麻蛇
基于 RSDhamba 的轻量级网络，将选择性状态空间模型（SSM）整合到 U-Net 架构中，通过视觉 Dehamba 块（VDB）实现全局上下文编码，并通过 Direction-aware Scan 模块（DSM）动态聚合特征交换，以有
PDFa day ago
位置知识是一切所需：面向操作员学习的位置感知变压器 (PiT)
该论文提出了一种基于创新的位置注意机制构建的位置诱导变压器 (PiT)，相比经典的自注意力，PiT 在算子学习中表现出显著优势，并且在各种复杂算子学习任务和不同的偏微分方程基准测试中，PiT 在当前最先进的神经算子方法中展现出卓越性能。
PDF2 days ago
基于残差注意力物理网络的可再生能源电厂中变压器的高效时空寿命评估
通过物理学信息神经网络配置的部分微分方程与数据驱动神经网络相结合的高效时空模型，改进了对变压器绕组温度和老化估计的预测准确性和获得时空分辨率，进而推断了时空变压器老化模型，帮助变压器健康管理决策，并提供了关于变压器绝缘体的局部热老化现象的见
PDF7 days ago
ACLTransformer 模型中的文本相似度解释
通过利用改进的解释，在语义相似性任务和模型中进行深入分析和语料库级别洞察，并使用分层相关传播（LRP）来验证结果解释的有效性，本研究探索了驱动语义相似性的特征相互作用。
PDF7 days ago
评估文本匿名化中的 AI 技术效果：一项比较研究
在数字化时代，面对不断升级的隐私问题，要制定强大的策略来保护个人数据同时保持文本信息的内在价值变得非常重要。本研究全面研究了文本匿名化方法，重点关注了条件随机场（CRF）、长短期记忆（LSTM）、语言模型嵌入（ELMo）以及变形能力的 Tr
PDF8 days ago
利用 Transformer 计算平面 N = 4 超 Yang-Mills 理论中的散射振幅
利用深度学习方法改进理论高能物理领域中的先进计算，通过使用 Transformers 预测含有整数系数的散射幅度，该方法在两项任务上均实现了高准确率（> 98%），证明了 Transformers 成功应用于需要精确解的理论物理问题。
PDF8 days ago
并行交叉剥离注意力网络用于单幅图像去雾
介绍了一种基于 Parallel Stripe Cross Attention (PCSA) 的多尺度策略的新型去雾网络，该网络能够高效地捕捉远距离依赖关系，并使用可变的卷积核尺寸和条形长度来处理不同大小和形状的模糊，同时在 PCSA 内部
PDF8 days ago
初始化对于 Transformer 是通过推理还是记忆来拟合复合函数至关重要
利用锚函数探究 Transformers 在复合问题上的行为机制，分析参数初始化尺度对模型学习推理解和对称解的影响，并发现推理解在学习单个锚点的个别映射时表现出低复杂度偏好，这一发现对于深入理解初始化尺度在塑造 Transformers 学
PDF9 days ago
Conv-Basis：Transformer 中高效注意力推理与梯度计算的新范式
大型语言模型对世界产生了深远影响，其中自注意机制是 transformer 在大型语言模型中取得成功的关键。然而，长度为 n 的输入序列带来的二次计算复杂度 O (n^2) 一直是对提高和扩展更长上下文的一个难以克服的障碍。本文利用注意力矩
PDF9 days ago
ACL堆栈注意力的 Transformer
自然语言被认为是（轻度）上下文敏感的。为了解决 transformer 模型在建模无上下文语言任务方面的能力限制，我们提出了利用可微分的基于堆栈的注意力机制来增强它们的方法。我们的基于堆栈的注意力机制可以与任何基于 transformer
PDF10 days ago
ReCycle：高效快速的长时间序列预测与残差周期变换
通过引入 Residual Cyclic Transformer (ReCycle) 来解决长时间序列中注意力机制的计算复杂性，通过学习来自精细平滑平均技术的残差，ReCycle 在各种应用场景中超过了最先进的准确性，同时降低了运行时间和能
PDF11 days ago
ICML基础模型在黑盒优化中的应用：优势、挑战和未来发展方向
庞大的语言模型 (Large Language Models) 已经在机器学习研究领域引发了一股创新浪潮，在强化学习、机器人学和计算机视觉等多个领域产生了实质性影响。然而，基于黑箱优化的实验设计领域受到的这种范式转变影响较小，尽管将 LLM
PDF11 days ago
从泛化分析到状态空间模型的优化设计
本文研究了状态空间模型（SSM）的普适性，并提出基于普适性结果改进训练算法的方法。具体地，我们给出了一种依赖数据的 SSM 普适性界限，展示了 SSM 参数与训练序列的时间依赖性之间的相互作用。基于该普适性界限，我们（1）建立了一个基于提出
PDF13 days ago
增强的视觉问答：卷积的比较分析与文本特征提取
本研究论文比较了复杂的文本模型和简单的局部文本特征模型在 VQA 中的效果，并发现采用复杂的文本编码器并不总是最优的选择。基于这一发现，论文提出了一种改进的模型 ConvGRU，通过引入卷积层增强了问题文本的表示，在 VQA-v2 数据集上
PDF16 days ago
STT: 自动驾驶的具有状态的变形器跟踪
通过使用 Transformer 模型，本文提出一种名为 STT 的有状态跟踪模型，它能够可靠地跟踪三维空间中的对象，并精确预测它们的状态，以确保自动驾驶的安全。通过消耗检测历史记录中的丰富外观、几何和运动信号，STT 在数据关联和状态估计
PDF17 days ago
复仇之后？循环模型与变形金刚在预测人类语言理解度量方面相匹敌
RNN architectures RWKV and Mamba perform natural language tasks comparably to or better than transformers, challenging t
PDF17 days ago
HLSTransform: 基于高层次综合的 FPGA 上能效优化的 Llama 2 推断
在大规模语言模型中使用图形处理单元 (GPUs) 作为硬件加速器，但是因为能源消耗大、运营成本高以及对边缘计算不适用等问题，我们开发了一种用于 transformers 的加速器 LLama 2，通过高级综合 (HLS) 来在 FPGAs
PDF18 days ago
Vision Mamba: 模型、应用和挑战综述
在这篇综述性文章中，我们回顾了 Mamba 模型的起源和核心见解，并将 Mamba 应用于不同的计算机视觉任务。我们对各种图像、视频、点云、多模态等应用进行了分类和组织，为未来在这个快速发展的领域中提供了挑战和研究方向。
PDF18 days ago
针对医学图像通用分割的混合双金字塔 Transformer-CNN 的注意力门控重新思考
本研究提出了一种新型混合 CNN-Transformer 分割架构 (PAG-TransYnet)，通过在双金字塔混合编码器中利用注意力门，利用金字塔输入突出显示不同尺度的突出特征，将 PVT Transformer 引入以捕获多种分辨率的
PDF19 days ago
SiamQuality：基于卷积神经网络的不完美生理信号基础模型
基于大数据集的生理信号，本文提出了一种自监督学习任务，利用卷积神经网络作为骨干模型，使好质量和差质量信号在相似生理状态下具有相似的表示，从而证明了该方法在心脏监测上的优越性。
PDF21 days ago