Dec, 2023

CEScore：用于评估分割和改写的简单高效置信度估计模型

PDF
TL;DR自动评估长句分割和重述任务的 CEScore 模型提供了用于评估简单性、语法性、意义保持性和整体质量的四个指标（Sscore、Gscore、Mscore 和 CEscore）并与人类评估强相关，表明 CEScore 作为评估 SR 模型整体质量的简单有效指标的潜力。
发现论文，激发创造
  • 更好的评估和更强的基线

    通过增加复制机制的神经网络模型，本研究针对 NLP 中一个有挑战性的问题解决了一个复杂句子分裂及重述的任务，并成功地提高了 8.68 BLEU 的得分。

    May, 2018

  • 小而强大：分裂和改写的新基准

    本文研究了将复杂句子简化为简单句子的文本简化任务，发现常用的基准数据集存在易被利用的语法线索，其自动生成过程中存在的固有偏差使其无法准确评估模型性能。通过收集众包数据，本文构建了更加多样化、接近人工写作的基准数据集，并提出了一套评估标准，初步证明了基于该基准数据集的人工评估更加精准和公正。

    Sep, 2020

  • 分离和改述

    该研究提出了一种新的句子简化任务 ——Split-and-Rephrase，在将复杂句子转换为意思相同的短句子方面有着潜在的价值。该任务可以作为自然语言处理的预处理步骤，可以帮助解析器、语义角色标注器和机器翻译系统提高性能，并对阅读障碍者有帮助。该研究提出了五种模型来应对这一任务。

    Jul, 2017

  • 大规模语言模型的拆分和再表述

    使用大型语言模型，通过训练样本和模型参数的相对较小数量，显著改进了 Split and Rephrase 任务的性能，并证明了大语言模型在该任务中的潜力。

    Dec, 2023

  • 使用语义角色标注评估文本的事实一致性

    SRLScore 是一种基于语义角色标注的自动文本评估度量，适用于文本摘要，能显示出稳定的泛化性能，且可适应于不同的领域。

    May, 2023

  • 基于 CEFR 的句子难度标注与评估

    本文提出一种基于 CEFR 的句子评估语料库，包含了 17k 个被英语教育专业人员划分难度级别的英文句子，同时我们提出了一个句子级评估模型来解决级别分布不平衡的问题，并在实验中达到了 84.5% 的高水平。

    Oct, 2022

  • 从维基百科编辑历史中学习拆分和改述技能

    通过挖掘 Wikipedia 的编辑历史，我们提取了一个丰富的新数据集 WikiSplit，其中包含一百万个自然生成的句子重写，提供了比 Narayan 等人（2017）引入的 WebSplit 语料库更多的六十倍的不同分裂示例和九十倍的词汇量，将 WikiSplit 作为训练数据可以产生质量更好的模型，其预测结果在 WebSplit 基准测试中比之前的最佳结果高出 32 BLEU 点。

    Aug, 2018

  • WikiSplit++：简易数据精化工具用于拆分与改述

    将复杂句子拆分为意思相同的多个简单句子的 Split and Rephrase 任务通过提升可读性和提高自然语言处理中下游任务的性能。本文提出了一种简单而强大的数据精炼方法，通过删除 WikiSplit 中复杂句子不涉及至少一个简单句子的实例并颠倒参考简单句子的顺序来创建 WikiSplit++，实验结果表明，使用 WikiSplit++ 进行训练比使用 WikiSplit 获得更好的性能，即使训练实例更少。特别是，我们的方法在拆分数和暇想度量中（即获得更多拆分和更高的包含关系比例）有显著提升。

    Apr, 2024

  • 简化水平评估（SLE）：用于句子简化的无参考学习简化指标

    自动评估句子简化仍然是一个具有挑战性的问题，我们提出了一种新的学习评估度量 (SLE)，该度量侧重于简化，与人类判断相关性方面表现优越。

    Oct, 2023

  • TeLeS: 用于估计端到端自动语音识别的时间词汇相似度得分的方法

    使用 Temporal-Lexeme Similarity 方法训练 Ancillary Confidence Estimation Model 并应用于 End-to-End Automatic Speech Recognition，取得了显著降低 Word Error Rate 的效果。

    Jan, 2024