rope | BriefGPT - AI 论文速递

关键词rope

搜索结果 - 6

Omni6DPose：一种用于普适 6D 物体姿态估计和跟踪的基准和模型
6D 目标姿态估计是计算机视觉中一个重要且具有挑战性的任务，本文介绍了 Omni6DPose 数据集以及使用 GenPose++ 方法对其进行的基准分析。
PDFa month ago
变形金刚技巧：预计算第一层
使用 RoPE 技巧能够提高 transformers 的推理速度，通过预计算第一层 transformer 能够降低延迟和每个词的成本。只优化了一层，实际节省的比例取决于总层数，例如对于只有 4 层的模型最大节省 25%，而对于 32 层
PDF5 months ago
球面位置编码对于变压器的应用
通过在变压器架构中引入地理标记信息（geotokens），本文基于 RoPE 架构提出了一种适用于球坐标系的位置编码机制，以达到在嵌入空间中保持地理位置与物理距离之间比例关系的目的。
PDF9 months ago
AAAI通过人工输入实现鲁棒的离策略评估
本研究提出了一种基于领域知识的健壮离线评估框架 ROPE，具有针对特定环境特征进行偏移的特点，从而能更准确地评估政策的效用，并且通过医疗领域的合成和真实数据集的实验表明，该方法能够准确地捕捉现实情况下的偏移，并能得出更乐观的政策评估结果。
PDF2 years ago
ACLROPE：基于阅读顺序等变位置编码的基于图的文档信息提取
该论文介绍了一种新的位置编码技术 ROPE，旨在提高文档中单词的阅读顺序建模。在 FUNSD 数据集和大规模付款数据集上的实验证明，ROPE 相对于现有的图卷积网络模型提高了 8.4% 的 F1 分数，特别是在单词标签和单词分组等文档实体提
PDF3 years ago
RoFormer: 带旋转位置嵌入的增强 Transformer
本篇论文研究了在语言模型中如何整合位置信息，并提出了一种名为 RoPE 的方法，它可以将位置信息编码为旋转矩阵，并同时将显式的相对位置依赖性结合到自注意力公式中。实验结果表明，RoPE 使 transformer 在处理长文本分类问题时表现
PDF3 years ago