Dec, 2022

生成模型在抽取式 NLP 任务中的分词一致性至关重要

PDF
TL;DR通常被忽略的词汇划分一致性问题影响了文本生成模型在抽取任务上的表现，提出了解决方法并应用于抽取问答任务，通过实验证明了这个方法可以提升模型的性能和稳定性。
generative modelsextractive taskstokenization inconsistencyextractive qaconsistent tokenization
发现论文，激发创造
  • 基于预训练生成模型的问题回答适应性

    本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

    Nov, 2023

  • 联合优化标记化和下游模型

    本文提出了一种优化分词器和模型以找到适当分词的新方法，该方法可用于各种 NLP 任务，包括后处理和多种语言翻译。实验结果表明，该方法通过确定适当的分词方法可以提高性能。

    May, 2021

  • 为复杂信息抽取任务微调和对齐问答模型

    使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

    Sep, 2023

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 通过往返一致性生成合成问答语料库

    本研究介绍了一种通过结合问答生成和答案提取模型，过滤结果以确保往返一致性的方法生成合成问答语料库，并通过对生成数据的预训练在 SQuAD2 和 NQ 上达到了显著的改进，建立了新的最先进技术的状态。我们的合成数据生成模型，无论是问答生成还是答案提取，都可以通过在 SQuAD2 和 NQ 的可提取子集上微调公开可用的 BERT 模型来完全复制。我们还描述了一种更强大的变体，对于问答生成执行完整的序列到序列预训练，可以在 SQuAD2 上取得与人类表现相差小于 0.1％和 0.4％的完全匹配和 F1 值。

    Jun, 2019

  • 信息抽取研究：注意分词！

    研究发现通过使用字符作为深度学习模型的输入，可以在生物医学文本信息提取方面实现最先进的性能且无需进行传统的分词处理。

    Mar, 2023

  • 关于 LLMs 中的分词理论

    通过研究变压器在简单数据生成过程上的行为，我们探讨了词汇标记的理论视角，发现词汇标记对于变压器模型的训练是必要的，并验证了合适的词汇标记可以使变压器模型在学习 k 阶马尔可夫源的概率时达到近乎最优的结果。

    Apr, 2024

  • 人类和机器学习模型的标记可追踪性：一项注释研究

    本研究比较了六种不同的 tokenization 方法在日语常识问答数据集上人工注释和机器学习模型的表现，分析了 tokenization 的合适性和响应时间等因素和表现的关系，结果表明人类和机器学习模型的 tokenization 不完全一致。

    Apr, 2023

  • 基于注意力引导的生成模型用于抽取式问答

    本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。

    Oct, 2021

  • 语言模型标记器引入了语言之间的不公平性

    研究显示，语言模型在处理不同语言时存在标记化差异，导致部分语言社区无法公平访问商业语言服务、处理时间和网络延迟，并限制了模型学习的上下文，因此建议使用多语种公平标记器来训练未来的语言模型。

    May, 2023