attention mechanism | BriefGPT

关键词attention mechanism

搜索结果 - 770

IJCAI提升作物育种中转基因表现的一个令人尴尬地简单方法
通过使用简单而有效的基于 Transformer 的框架，在 rice3k 和 wheat3k 数据集上进行实验，通过简单的技巧如 k-mer 标记和随机掩蔽，Transformer 可以在感兴趣的 GS 任务中表现出整体优越性能，从而释放
PDF3 days ago
可解释的船舶避碰人工智能：解码决策过程和行为意图
该研究开发了一个可解释的人工智能用于船舶避碰。通过提出由子任务评论网络组成的评论者网络，研究对碰撞避免中的每个子任务进行单独评估，以阐明人工智能决策过程。此外，通过 Q 值分析和注意机制来识别行为意图。通过将碰撞危险与对其他船只的关注程度结
PDF3 days ago
超越缩放定律：理解具有关联记忆的 Transformer 性能
增加 Transformer 模型的大小并不总是导致性能提升，用经验缩放定律无法解释此现象。此外，模型记忆训练样本会改善泛化能力。我们提出了一个理论框架，揭示了基于 Transformer 的语言模型的记忆过程和性能动态。我们使用关联记忆的
PDF4 days ago
在开放式文本世界中进行少样本任务迁移的专家混合方法
多任务学习中混合专家模型与注意力机制结合的研究表明，代理能够在开放式环境中通过重用先前任务的知识并快速学习新任务，同时在零样本和少样本学习中表现出更高的奖励获得和采样效率。
PDF9 days ago
ReCycle：高效快速的长时间序列预测与残差周期变换
通过引入 Residual Cyclic Transformer (ReCycle) 来解决长时间序列中注意力机制的计算复杂性，通过学习来自精细平滑平均技术的残差，ReCycle 在各种应用场景中超过了最先进的准确性，同时降低了运行时间和能
PDF12 days ago
基于融合注意力机制的矿石分类网络
该研究提出了一种名为 OreYOLO 的方法，通过将注意机制和多尺度特征融合策略结合到金矿和硫化矿石的矿石数据中，提高了模型的检测性能和准确性。实验证明 OreYOLO 在金矿和硫化矿石分类训练中优于常用的高性能目标检测算法。
PDF13 days ago
SalFAU-Net：显著性融合关注 U-Net 用于显著目标检测
我们提出了一种名为 Saliency Fusion Attention U-Net (SalFAU-Net) 的模型，它在每个注意力 U-net 模型的解码器块中合并了一个显著性融合模块，从而可以准确地检测具有多个对象、小物体或低分辨率对象
PDF13 days ago
基于注意力的深度生成模型用于工业控制系统中的异常检测
该论文提出了一种新颖的深度生成模型，采用变分自动编码器架构，利用卷积编码器和解码器从空间和时间维度提取特征，结合注意力机制增强相关特征的表示，改进异常检测准确性，并在安全水处理测试平台的六个阶段进行了全面的实验分析，实验结果表明该方法相比多
PDF15 days ago
可解释的生命体征预测与模型无关的注意力图
该研究通过结合深度学习模型和注意力机制的框架，提高其在预测败血症过程中的可解释性，从而支持临床决策。研究通过评估基于 eICU-CRD 数据集的模型在预测败血症患者生命体征方面的表现，并采用均方误差（MSE）和动态时间规整（DTW）度量来评
PDF16 days ago
PoPE：基于勒让德正交多项式的位置编码在大型语言模型中的应用
通过理论洞察和实证分析，我们研究了位置编码在更高维度上不充分表示对注意机制、模型学习相对位置信息的能力和模型的收敛性等关键方面的影响，发现这些挑战不仅存在于绝对位置编码，也可能对旋转位置编码等相对位置编码方法的性能产生负面影响。因此，我们引
PDF19 days ago
IJCAI子邻域相邻变形器：利用子邻域的重构误差提高时间序列异常检测
本文提出了一种名为子相邻 Transformer 的新型注意力机制，用于无监督时间序列异常检测，并在真实世界的六个异常检测基准上取得了最先进的性能。
PDF21 days ago
BezierFormer: 二维和三维车道检测的统一架构
BézierFormer 是一种基于 Bézier 曲线车道表示的统一 2D 和 3D 车道检测架构，通过引入 Bézier 曲线注意机制进行短车道曲线的全面精确特征提取，并采用基于 Chamfer IoU 的损失函数进行 Bézier 控
PDF23 days ago
HDDGAN：用于红外和可见光图像融合的异构双辨别生成对抗网络
通过引入新型异构双鉴别生成对抗网络（HDDGAN），本研究旨在解决红外与可见光图像融合过程中捕捉热区域信息和纹理细节的挑战。通过多尺度连接结构和注意力机制，HDDGAN 能够从不同源图像中提取重要特征，并实现信息融合结果的更好信息表示。通过
PDF24 days ago
通过注意力调节改进文本到图像生成对齐
通过注意力机制的调节，我们提出了一种用于扩散模型的无需训练的逐阶段聚焦机制，旨在解决多实体和属性的文本提示处理中的注意力分布不均问题。我们的实验结果证明，我们的模型在各种情况下都能够以最小的计算成本实现更好的图像与文本的对齐。
PDFa month ago
摄像头无关的用于自我车道推理的双头网络
基于高清地图的视觉自车道推断对于自动驾驶和高级驾驶辅助系统至关重要。本文提出了一种基于学习的自车道推断方法，通过直接估计由单个图像生成的自车道索引来提高鲁棒性。为了适应视角变化而无需精确校准，我们的模型采用了由消失点和线引导的注意力机制，并
PDFa month ago
具有恒定标记成本的 Softmax 注意力
我们对传统的 Transformer 模型中的注意力机制进行了简单修改，通过对指数函数的缩放点积取对数来量化查询 - 键的相似性，将注意力表达为一系列对数求和的指数函数，该方法的优势在于其线性化性质，具有恒定大小的潜在空间，每个标记的顺序应
PDFa month ago
双向长程解析器用于顺序数据理解
本研究提出了 BLRP（双向长距离解析器），这是一种新颖且多功能的注意机制，旨在增强长序列任务的性能和效率，并通过在视觉和语言领域展示了竞争性结果来展示我们方法的优点和多功能性。
PDFa month ago
StockGPT：用于股票预测和交易的 GenAI 模型
本文介绍了 StockGPT，一种在美国股票每日收益历史数据上直接预训练的自回归 ' 数值 ' 模型。通过将每个收益系列视为标记序列，该模型在理解和预测高度复杂的股票收益动态方面表现出色。利用注意机制，StockGPT 自动学习预测未来收益
PDFa month ago
CVPR学习视觉 Transformer 的相关结构
我们引入了一种新的注意力机制，称为结构自注意力（StructSA），它利用注意力的键 - 查询交互中自然产生的丰富相关模式。使用结构自注意力作为主要构建模块，我们开发了结构视觉转换器（StructViT），并在图像和视频分类任务上评估其有效
PDFa month ago
ICLR关于共享内存中注意力因子化的困难
通过对内存进行注意操作与通过输入信号筛选交互相对来说不够优化，可以利用 Luna 或 Memory Augmented Transformer 等模型减少注意计算复杂度或在块处理中传播信息来显著提高性能。
PDF2 months ago