Apr, 2022

ChapterBreak：长序列语言模型的挑战数据集

PDF
TL;DR本文介绍 ChapterBreak 数据集，用于评估长距离语言模型（LRLMs）理解语言的能力。实验结果表明，现有的 LRLMs 在处理全局上下文方面表现不佳，相比直接训练用于此任务的分段级别模型，性能显著下降。
long-range language modelsdiscourse-level language understandingchapterbreak datasetchapter transitionsegment-level model
发现论文，激发创造
  • 章节捕手：小说中的文本分割

    使用神经推理和规则匹配的混合方法，预测长篇文本的章节边界，通过剔除结构线索并利用预测数据集，我们发现切割和神经方法可以精确地分割小说的章节，并揭示了小说章节结构的有趣历史趋势。

    Nov, 2020

  • 叙述 XL: 用于长期记忆模型的大规模数据集

    提出了一种通过 GPT 3.5 从 Project Gutenberg 中的书籍总结场景并创建阅读理解问题的方法，用于创建可以训练和评估长期记忆语言模型的数据集，并经过人工和模型的实验验证，证明该数据集可以诊断模型的记忆容量，并且不是现代语言模型的简单问题。

    May, 2023

  • 一千零一对：对长文本语言模型的 “新” 挑战

    通过创建 NoCha 数据集，我们评估了长文本 LLMs 在检索、综合和推理书籍等长篇输入上的能力，并发现其在全局推理方面普遍具有巨大挑战，并提出了一种能够演化基准数据集并分析未来模型的方法。

    Jun, 2024

  • 多模式视频章节生成

    该研究介绍了一个名为 Chapter-Gen 的数据集，用于视频章节自动生成，提出了一个特定于视频章节生成任务的有效基线，并开发了 skip sliding window 机制来定位潜在章节并汇总本地特征，实验结果表明这种新框架具有优越性。

    Sep, 2022

  • LongBench: 一个用于长篇上下文理解的双语多任务基准

    通过引入 LongBench，对 8 个大型语言模型进行全面评估，我们发现商业模型（GPT-3.5-Turbo-16k）优于其他开源模型，但在更长的语境下仍存在困难；在较长序列上进行的缩放位置嵌入和微调，在长语境理解方面带来了实质性的改进；检索等上下文压缩技术对于长上下文能力较弱的模型带来了改进，但性能仍落后于具有强大长上下文理解能力的模型。

    Aug, 2023

  • NovelQA: 一个长距离小说问答基准

    使用英文小说构建的 NovelQA 评估长上下文具有深层文本理解能力的 LLMs 的表现，结果强调了 LLMs 在多次推理、注重细节的问题和超过 100,000 个标记的极长输入方面面临的挑战，强调了进一步改进 LLMs 以提高其长上下文理解和计算文学研究的必要性。

    Mar, 2024

  • 长程语言模型是否实际上使用了长程上下文？

    该研究分析了两个能够接受高达 8K Token 的长文本转换器语言模型，发现将长距离上下文提供给这些模型只会在少数 Token 上提高其预测能力（例如可以从远处文本中复制的 Token），对于句子级别的预测任务没有任何帮助；并且长范围上下文对文学小说的帮助最大。

    Sep, 2021

  • 长短距离上下文神经网络语言模型

    本文提出了一种新的多跨度架构，通过一种新的循环长短期上下文（LSRC）网络，显式地模拟本地（短期）和全局（长期）上下文，分别模拟短期和长期的上下文信息，用于语言模型任务。

    Aug, 2017

  • LOT：面向叙事的中文长文本理解与生成基准评测

    为了评估和公平比较不同模型的长文本处理能力，我们提出了一个名为 LOT 的以故事为中心的基准测试，并发布了一个名为 LongLM 的编码器 - 解码器型中文长文本预训练模型，训练了两个生成任务和 120G 中文小说，LongLM 在 LOT 中表现出在不同理解和生成任务方面优异的性能，胜过同等规模的预训练模型。

    Aug, 2021

  • 规模化的视频章节 (VidChapters-7M)

    视频章节生成、时间分割、章节标题生成、视频章节定位和在 VidChapters-7M 上的预训练能够显著改进 YouCook2 和 ViTT 基准测试中的视频语言模型绩效。

    Sep, 2023