Aug, 2022

文本难度研究：机器在文本难度方面与人类表现是否相同？

PDF
TL;DR该研究探讨了文本难度对自然语言处理领域的影响，并提出了人类学习匹配指数 (HLM Index)。实验结果表明 LSTM 的学习行为比 BERT 更类似于人类学习行为，使用 UID-SuperLinear 可以更好地评估文本难度。在九项任务中，有些任务的表现与文本难度有关，而有些任务则没有关系。在训练模型时，使用简单数据进行训练可以获得最佳效果，并且采用了从易到难的训练方法可以实现更快的收敛。
nlptext difficultyhlm indexlstmuid-superlinear
发现论文，激发创造
  • LLM 是否隐含确定适合用户的文本难度？

    通过使用大型语言模型（LLMs），调整生成的文本难度以适应学生，以达到提高学生理解能力的个性化教育目的。用于分析 LLMs 如何在用户输入和生成的文本之间隐式调整文本难度。通过从 Stack-Overflow 创建新的数据集来进行实验，探讨基于问答式对话的性能。实验结果表明，LLMs 可以隐式处理用户输入和生成响应之间的文本难度，并观察到有些 LLMs 在处理文本难度和指导调整方面超越了人类。

    Feb, 2024

  • 人类与语言模型在预测重复文本时的差异

    通过研究语言模型在下一个单词预测任务中的表现与人类行为模式的比较，发现人类与 GPT-2 语言模型在文本展现初期表现强相关，随着记忆（或背景学习）的作用逐渐发挥，二者的表现迅速分歧，研究发现这种分歧的原因是特定的中间层注意力头部，为此通过在这些注意力头部中添加幂律最近偏倚，构建了一个更接近人类行为的模型，希望此案例能够推动将语言模型更加贴近人类行为的未来研究。

    Oct, 2023

  • 大型语言模型能否替代人类评估？

    本文介绍了使用大型语言模型（LLM）代替人类评估来评估人工智能生成的文本的潜力，探索了 LLM 对两个自然语言处理任务的开放性故事生成和对抗性攻击的评估结果，并发现 LLM 评估结果与人类专家的评估结果保持一致。

    May, 2023

  • 解读神经自然语言处理模型对文本扰动的鲁棒性

    研究现代自然语言处理模型中对于不同的输入扰动如何表现更差，进而发现一个模型对于未知文本扰动的鲁棒性较低的原因是模型未很好地学习到如何识别这些扰动。

    Oct, 2021

  • 语言模型评估：超越困惑度

    我们提出了一个替代方法来量化语言模型学习自然语言的程度：我们询问它们多大程度上与自然语言的统计倾向相匹配。通过分析语言模型生成的文本是否呈现出它们所训练的人类生成文本中存在的统计倾向，提供了一个与显著性测试配对的框架来评估语言模型的拟合程度。我们发现神经语言模型似乎只学会了一部分被考虑的倾向，但与经验性趋势相比，更接近所提出的理论分布（当存在时）。此外，对不同分布的拟合程度高度依赖于模型架构和生成策略。作为具体例子，使用 Nucleus sampling 方式生成的文本比使用标准祖先抽样生成的文本更紧密地遵循自然语言的类型 - 标记关系；LSTMs 生成的文本也非常好地反映了自然语言的长度、停用词和符号分布。

    May, 2021

  • 大型语言模型是否能像人类一样推断和产生分歧？

    本文研究大型语言模型在处理自然语言推理任务上的表现，并通过 Monte Carlo Reconstruction 和 Log Probability Reconstruction 两种方法评估其与人类理解的一致性，结果表明大型语言模型在 NLI 任务和人的理解差异分布方面表现不佳。

    May, 2023

  • 预测下一个单词：人类在此任务中表现出的不确定性及语言模型

    语言模型相对于人类生成的文本是否准确地表达语言变异性，以及 GPT2、BLOOM 和 ChatGPT 在从统计层面上评估这种能力时的失调问题和预期校准误差的失效问题。

    Feb, 2024

  • 易训练数据在困难任务中的非常有效性

    通过对容易和困难数据进行简单的训练方法、线性分类器头和 QLoRA 的易变难泛化，以及使用不同硬度度量的实验验证，我们得出了在语言模型中易变难泛化意外地很强，表明可扩展的监管问题可能比之前认为的更容易。

    Jan, 2024

  • 所有语言的语言模型难度是否相同？

    本文使用翻译文本开发了一种公平的跨语言语言模型比较方法，在 21 种语言中展示了复杂的屈折形态是导致不同语言性能差异的原因。

    Jun, 2018

  • 人还是机器？自动化自然语言生成文本人类相似性评估

    本文提出了一种基于大型预训练语言模型和概率分布的区分程序来自动评估自然语言生成方法产生的文本样本的人类相似度分数，与人类判断的自动评估进行了验证。

    Jun, 2020