chunking | BriefGPT - AI 论文速递

关键词chunking

搜索结果 - 8

多视图内容感知长文档检索
通过多视角内容感知索引（MC 索引）来提高长文档问答（DocQA）的性能，无需训练或微调。与现有的固定长度切块方式相比，MC 索引显著提高了召回率，并能与任何检索器无缝集成。
PDF2 months ago
有效提升检索和生成的财务报告分块
通过使用基于文档结构的元素类型作为切块依据，我们提出了一种扩展的文档切块方法，以获得最佳切块大小，进而改善 Retrieval Augmented Generation (RAG) 的性能。该研究还深入分析了不同元素类型在信息检索中的作用，
PDF5 months ago
块状化：即使不更改任务，在连续学习中遗忘也很重要
连续学习中数据分布以及数据分块是重要的问题，分块对于性能下降有显著贡献。使用按块权重平均的方法可以提高性能，并可推广到整个连续学习过程。
PDF9 months ago
用分层循环神经网络进行无监督的分块
自然语言处理中一篇有关无监督的句法结构预测的研究，通过引入两层层次循环神经网络模型对词语与词组、词组与句子的组成进行建模，利用预训练无监督解析器和下游自然语言处理任务微调的方法，在 CoNLL-2000 数据集上取得了可观的性能提升，对无监
PDF10 months ago
COLING高阶 LSTM 在序列数据分割和标记中是否具有更好的准确性？
我们提出了一个名为高阶 LSTM 的模型，它可以预测当前标记的多个标签，然后我们提出了称为 MO-BiLSTM 的新方法，结合了低阶和高阶 LSTMs，用于所有短语分块和 NER 数据集，实验结果表明 MO-BiLSTM 在分块方面达到了最
PDF7 years ago
ICLR用阶乘隐马尔可夫模型学习自然语言表达
为了将全局上下文纳入表示学习，我们开发了一种表示学习算法，该算法将联合预测纳入其生成单词特征的技术中，并使用变分分布生成对每个单词敏感于整个输入序列而不仅是局部上下文窗口的特征，在词性标注和分块实验中，这些特征表现出与或优于现有最先进的表示
PDF11 years ago
表示文本块
本文研究了 7 种不同的数据表述方式，探究数据表述对于识别名词短语块的影响，结果表明表述方式对于分块的性能有一定影响，但是配备最适宜的数据表述方式，我们的基于记忆的分块学习器能够改进标准数据集的最佳分块结果。
PDF25 years ago
使用基于转换的学习进行文本分块
本文介绍了 Eric Brill 提出的基于转换的学习方法，并展示了它可以以相当高的准确度进行词性标注。作者建议使用相同的方法在标记文本中定位块，其中包括非递归的 “baseNP” 块，并将其作为一个标签问题进行处理。作者通过使用 Tree
PDF29 years ago