Nov, 2023

GNAT: 通用叙事对齐工具

HTML
PDF
TL;DR通过将生物信息学中的Smith-Waterman算法与现代文本相似度度量相结合，我们开发了一种用于故事对齐的通用方法，并展示了对于摘要和节选，相较于原始小说更短的具有大的版本之间的相似性是很难识别的。我们的方法在四个不同的问题领域上应用和评估了我们的通用故事对齐工具(GNAT)，这四个问题领域在文档的相对和绝对长度方面差异巨大，包括摘要与书籍对齐、翻译书籍对齐、短篇小说对齐和抄袭检测，从而展示了我们方法的能力与性能。
发现论文，激发创造
  • 自动文档摘要的词语和短语对齐

    本文主要探讨了目前单文档自动摘要所采用的句子提取和基于词袋模型的标题生成算法的不足，并提出了一种基于词语和短语对齐技术的自动化摘要算法。通过实验结果表明，该模型能够在<文档，摘要>数据集中可靠地识别单词和短语的对齐。

    Jul, 2009

  • 判别式书籍摘要新的对齐方法

    采用不监督的方式对一本书的全文与人工撰写的摘要进行对齐，通过使用基于隐马尔科夫模型的两种新方法来解决长度差异的问题，并在抽取式书籍摘要任务上取得了一定的效果。尽管还有很大的提升空间，但无监督对齐在提供哪些书籍特征值得总结方面具有内在价值。

    May, 2013

  • 小说章节摘要中内容选择的探索

    提出了一种通过在线学习指南的摘要/章节对生成小说章节摘要的新任务，重点是提取性摘要和对齐方法，通过创建出金标准提取性摘要句子以及实验不同的对齐方法，从而在自动指标等方面得出我们的任务比原先方法有了显著的改进，通过众包金字塔分析。

    May, 2020

  • 自动对齐方法用于摘要语料库构建

    本文提出了使用会议摘要生成自动转录报告的方法。使用自动预对齐方法使数据批量化对齐，最大化语料库的规模，以及使用人工标注者进行更准确地校对。作者还评估了自动对齐和自动摘要的表现，并证明自动对齐可大幅度提高所有 ROUGE 得分。

    Jul, 2020

  • 在紧张注释预算下分析文本表示：度量结构对齐

    通过引入评估文本数据表示优劣的度量标准，本研究探究了数据表示在紧急标注预算下对学习成果的影响。研究表明，数据表示依据任务需求的结构对齐程度越高，模型对标注预算的依赖性较低、对少样本数据的学习效果更优。

    Oct, 2022

  • SEA:一个可扩展的实体对齐系统

    SEA是一种可伸缩的实体对齐系统，借助于图神经网络作为编码器，在实际应用中进行大规模的实体对齐，其包含六个最新的实体对齐模型，能够加速归一化和评估过程。

    Apr, 2023

  • AlignScore: 用统一的对齐函数评估实际一致性

    本文提出了一个新的综合指标AlignScore，基于信息对齐来评估各种实际不一致性场景，包含了7个知名任务的4.7M数据来源的统一训练框架，重点在于我们进行了大量的实验，得出AlignScore在测试中的显著优势，且能够匹敌比其大数个数量级的ChatGPT和GPT-4等度量标准。

    May, 2023

  • 文本对齐是一种用于大规模自然语言处理任务的高效统一模型

    提出了一种以文本对齐为基础的轻量级模型，用于广泛的文本蕴含、相似性、问答、事实一致性等关键任务，并通过轻量级调优方法，在具有较少参数的情况下达到相媲美或超过传统模型的性能，在评估文本生成的事实一致性和问答任务中表现优异。

    Jul, 2023

  • STONYBOOK：小说大规模分析的系统和资源

    本研究通过开发一套资源集合，包括NLP分析工具、清理和注释小说的数据库以及相关的网页接口，来进行大规模小说分析，描述了注释系统的主要功能及其价值，并展示了从网站中获取的分析结果样本，如人物出现和互动的可视化、类似的书籍、代表性词汇、词类统计和阅读难度指数，同时解释了通过注释格式在大型小说语料库中进行定性和定量分析的应用。

    Nov, 2023

  • FABLES：评估长篇书籍摘要的忠实性与内容选择

    通过对虚构书籍的长篇小说生成概述的大规模人类评估，本论文揭示了长篇大语境语言模型在生成摘要时的忠实度和内容选择方面的问题，并且提出了检测生成的摘要中不忠实内容的重要性，同时也探讨了在书籍概述中与关键故事元素相关的遗漏错误以及朝末尾发生事件的系统过度强调。

    Apr, 2024