position embedding | BriefGPT

关键词position embedding

搜索结果 - 8

RoPE 基于基准的上下文长度界限
在这篇论文中，我们发现位置嵌入在大型语言模型中起到了非常重要的作用。我们提出了长期衰减的新属性，并理论上和经验上揭示了上下文长度与位置嵌入基数之间的关系，为未来的长上下文训练提供了新的启示。
PDFa month ago
Long-MIL: 面向组织病理学全切片图像分析的长上下文多实例学习的扩展
本文提出了一种改良位置嵌入的长上下文 WSI 方法，通过引入线性偏差来处理形状变化的大 WSI，并将其从 1 维长序列适应到 2 维长上下文 WSI 中，用于模型对未见或欠拟合位置的外推；同时利用闪存注意力模块解决 Transformer
PDF8 months ago
CLEX: 大型语言模型的连续长度外推
建议一种基于连续长度外推（CLEX）的 Transformer-based Large Language Models (LLMs)，可将 context window 扩展到训练序列长度的 4 倍或 8 倍，并在实际任务中表现出竞争性性能
PDF8 months ago
TransNormer 模型参数适配至 1750 亿
我们提出了 TransNormerLLM，这是第一个基于线性注意力的大型语言模型（LLM），在准确性和效率方面均超过了传统的基于 softmax 注意力的模型。
PDFa year ago
位置至关重要！知识驱动对话中的顺序效应实证研究
本文针对对话系统中的知识输入顺序问题，通过实验探究了知识输入顺序对自回归对话模型输出的影响，并提出一种通过修改位置嵌入的简单有效方法解决了这一问题。实验结果表明该方法能够让模型均匀地考虑每个知识声明。
PDFa year ago
轻量化思路：自适应剪枝在医学图像分割中的 Transformer 优化
本文提出应用自适应修剪技术来改进医学图像分割的 transformer 模型。我们的自适应修剪 transformer 的方法名为 APFormer。该模型使用自监督的自我注意机制和高斯先验相对位置嵌入来改进依赖信息建立。我们的实验表明，A
PDF2 years ago
超越周期性：朝向协同多层感知器激活的统一框架
本文研究了在 Coordinate-MLPs 中 activation function 的影响，提出了一类比正弦函数更加鲁棒的非周期函数，并鼓励在 Coordinate-MLPs 中使用这些非传统的激活函数来提高性能和简化模型。
PDF3 years ago
EMNLPTransformer 分解：通过核的视角统一理解 Transformer 的注意力机制
该论文通过内核视角呈现关注力的新公式，将输入流应用于内核平滑器，提出用对称内核对输入流建模的注意力机制变种，以较少的计算成本实现与最先进模型相媲美的竞争性表现，实验证明不同的内核构建策略能够应用于神经机器翻译和序列预测这两个广泛使用的任务。
PDF5 years ago