Sep, 2022

拓展与解释：解读超长语言模型

PDF
TL;DR介绍了一种基于掩码采样过程（MSP）的方法，以解决长文本医疗领域的诊断预测问题。该方法可以识别出较多的临床信息文本块，并且比之前最先进的方法运行速度更快，可用于任何文本分类器。
transformer language modelssparse attention lmsauditabilitymasked sampling proceduremedical text
发现论文，激发创造
  • NextLevelBERT：探索使用高级表示进行长文档的遮蔽语言建模

    NextLevelBERT 是一种掩码语言模型，通过对高级语义表示进行预测，可以有效处理长文档，并在语义文本相似性、长文档分类和多项选择问答三个任务类型上取得较好效果。

    Feb, 2024

  • 深呼吸：用哨兵标记增强大型语言模型的语言建模

    我们提出了一种简单而有效的方法，通过将文本分割成多个块并在每个块的末尾插入特殊标记 <SR>，修改注意力掩码以将块的信息整合到相应的 <SR> 标记中，从而使 LLMs 能够从历史上的个别标记以及 <SR> 标记中解释信息，从而汇集块的语义信息。通过语言建模和领域外下游任务的实验验证了我们方法的优越性。

    Jun, 2024

  • LongBoX：评估基于 Transformer 的长序列临床任务

    评估长序列处理能力的医学大型语言模型和模型性能，引入长序列数据集 LongBoX，初步实验证明医学和一般领域大型语言模型对长序列的处理存在困难，通过两种长序列处理技术（局部 - 全局注意力、Fusion-in-Decoder）的评估，得出虽然在某些数据集上分数有所提高，但仍有较大改进空间，并希望 LongBoX 有助于开发更有效的长序列技术。

    Nov, 2023

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019

  • 一种混合软提示的可控数据生成方法

    本文介绍了一种利用大型语言模型作为数据增强工具的技术，即利用软提示的混合模型进行参数有效的数据生成，并通过去噪机制提高生成数据的质量，此方法能够在复杂预测任务中实现对标签语义的保留，达到优于强基准的最新结果。

    Mar, 2023

  • 调整预训练的文本 - 文本模型以适应长文本序列

    本文介绍了一项关于预训练模型适应长序列输入的经验研究，并提出一种构建长上下文模型的有效方法，包括采用池化增强分块注意力替换 transformers 中的全局注意力机制、采用不同长度的遮盖跨度预测任务、使用随机串联的短文档等。最终，研究人员成功构建出具有竞争性的长文本问答模型，并在五个长文本摘要数据集上取得了新的性能最高记录。

    Sep, 2022

  • 长程语言模型是否实际上使用了长程上下文？

    该研究分析了两个能够接受高达 8K Token 的长文本转换器语言模型，发现将长距离上下文提供给这些模型只会在少数 Token 上提高其预测能力（例如可以从远处文本中复制的 Token），对于句子级别的预测任务没有任何帮助；并且长范围上下文对文学小说的帮助最大。

    Sep, 2021

  • LSG 注意力机制：将预训练的 Transformer 推广到长序列

    本研究提出了 LSG attention 机制以解决 Transformer 模型自注意力机制中违反 $O (n^2)$ 的限制，同时还提出了相应工具和方法用于新模型的训练和现有模型的调整。实验结果表明，LSG attention 机制在长文本的分类和摘要任务中效率优秀，也可以用于有效地扩展预训练模型的序列长度。

    Oct, 2022

  • 为长形视频理解选择性结构状态空间

    本论文提出了一种轻量级掩膜生成器的技术，采用长短掩膜对 S4 模型进行改进，从而更有效、准确地模拟视频中的长期时空依赖关系，并在三个数据集上均取得了比之前最先进的 S4 模型更高的准确性，降低了 23％的内存占用。

    Mar, 2023

  • 基于预训练语言模型的长篇临床文本比较研究

    本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

    Jan, 2023