Oct, 2023

LC-Score：无参考文本理解难度评估

PDF
TL;DR我们提出了一个简单的方法 LC-Score，用于训练法语文本的阅读理解指标，通过预测给定文本的易读性来定量捕捉文本与清晰语言指南的契合程度。我们探索了两种方法：使用语言学动机指标训练统计模型，以及从文本中直接利用预训练语言模型进行神经学习。我们通过两个人工注释实验评估了我们的模型，发现两种方法（基于指标和神经）优于常用的可读性和理解度量，如 FKGL 和 SAMSA。
text comprehensionautomatic text simplificationlc-scorelanguage modelscomprehension metrics
发现论文，激发创造
  • 二语学习者文本可读性评估

    该研究针对非英语母语者阅读理解评估的不足，提出了一种利用一般化方法和自学习技术，借助母语数据提高 L2 数据系统表现的模型，并在学习者文本的可读性评估方面取得了精度为 0.797 和相关系数为 0.938 的结果。

    Jun, 2019

  • 基于迁移学习的德语文本可读性评估模型

    本研究基于迁移学习提出了一种新的德文文本复杂度评估模型，结果表明该模型优于传统的基于文本语言特征提取的解决方案，最佳模型使用 BERT 预训练语言模型取得了 0.483 的均方根误差。

    Jul, 2022

  • 智力障碍者对简化文本的数字可理解性评估

    文本简化是增加文本可理解性的过程。我们通过一个评估研究，使用智力残疾人和普通参与者阅读自动和手动简化的德语文本来探索衡量可理解性的四种不同方法，并发现这些方法在不同读者群体和文本是否经历自动或手动简化时会有显著差异。对于智力残疾人这个目标群体，理解问题是最可靠的衡量手段，而分析阅读速度则为了解参与者的阅读行为提供了有价值的见解。

    Feb, 2024

  • 基于 CEFR 的句子难度标注与评估

    本文提出一种基于 CEFR 的句子评估语料库，包含了 17k 个被英语教育专业人员划分难度级别的英文句子，同时我们提出了一个句子级评估模型来解决级别分布不平衡的问题，并在实验中达到了 84.5% 的高水平。

    Oct, 2022

  • 超越 Flesch-Kincaid：基于提示的度量改善教育文本的难度分类

    使用大型语言模型（LLMs）对教育应用，如基于对话的教学，进行研究是一个热门话题。本研究引入并评估了基于提示的文本难度度量，该度量方法相比静态度量具有更好的性能，并展示了利用 LLMs 评估文本对不同教育水平的适应的潜力。

    May, 2024

  • 评估机器阅读理解数据集的基准测试能力

    本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

    Nov, 2019

  • 大型语言模型自动生成与评估阅读理解测试题

    使用大型语言模型生成和评估阅读理解测试题目是一个有前途的方法，特别适用于没有足够可用数据的语言。

    Apr, 2024

  • 文本简化系统的无参考质量评估

    本文探讨了针对在无参考文本的情况下，对简化文本进行质量估计的多种方法，并基于 QATS 2016 的数据集对多个方法进行了比较，最终发现基于 n-gram 的机器翻译度量（如 BLEU 和 METEOR）最能与语法正确性和意义保留的人工评估相匹配，而基于长度的度量方法则最适合衡量简明易懂程度。

    Jan, 2019

  • 多项选择阅读理解的问题难度排名

    在评估英语学习者时，多项选择（MC）测试是一种有效的方法。本文探讨了自动化方法来对 MC 问题进行难度排序，并比较了任务迁移和零样本学习的方法。结果表明，任务迁移在难度排序方面优于阅读理解，而零样本学习方法在问题难度排序方面比绝对评估和任务迁移方法更有效，相关系数为 40.4%。合并这些系统进一步提高了相关性。

    Apr, 2024

  • 谁写的？零样本长文本生成文本检测的关键是 GECScore

    提出一种基于语法错误修正分数（GECScore）计算的黑盒零样本检测方法，通过区分人工编写和大型语言模型生成的文本，在零样本和有监督方法方面显著优于现有技术，获得平均 AUROC 为 98.7％的结果，并对近义词和对抗扰动攻击具有很强的鲁棒性。

    May, 2024