EMNLPOct, 2022

StoryER：通过排序、评分和推理进行自动故事评估

PDF
TL;DR提出了一种新的故事评估方法 StoryER，包括排序、评分和评论等三个子任务，此方法不仅考虑故事的词汇一致性，还结合了人类偏好进行评估，其基于的公开数据集与经过微调的 Longformer-Encoder-Decoder，通过在每个任务上产生优异的性能表现，展示了其与人类喜好的高相关性。
storyerautomatic story evaluationlongformer-encoder-decoderdatasethuman preference
发现论文，激发创造
  • 个性化故事评估学习

    通过建立个性化故事评估模型 PERSE，该研究拟解决大语言模型在开放式文本生成方面评估表现困难的问题，并通过两个新数据集 Per-MPST 和 Per-DOC 进行实验，研究结果表明该模型在故事评分和优先级预测方面均优于 GPT-4。

    Oct, 2023

  • 人类评估中的真实性差距

    本文提出 NLG 评估标准协议中存在的假设并分析了其局限性，同时提出了一个更理论严谨的改进方案，并针对开放式任务提出了新的 SPA 人类评估协议。使用 SPA 进行人类评估时，可以使用系统级概率评估恢复 GPT-3 模型大小排序且差异具有统计学意义。

    May, 2022

  • 通过对比强化学习实现故事讲述的鲁棒性偏好学习

    使用对抗式生成模型和强化学习算法，本论文提出了一种新型的人工智能故事生成系统，能够根据人类喜好和偏好生成自然语言故事。

    Oct, 2022

  • ERASER: 用于评估合理化 NLP 模型的基准

    该论文提出了 ERASER 基准测试以推进 NLP 中可解释模型的研究，包括多个数据集和任务，并提出了几个指标以衡量模型提供的 rationales 与人类 rationales 的一致性以及提供的 rationales 对相应预测的影响程度。

    Nov, 2019

  • 语言模型是否喜欢自己的故事？用于自动故事评估的大型语言模型的激励

    自动故事评估与生成在社交交互中起到重要作用，研究表明大语言模型能够替代人工评注者，但仍存在解释答案的困难。

    May, 2024

  • 视觉叙事的优秀元素？：设计复合奖励

    论文重新审视了故事叙述的优化问题并提出了基于相关性，连贯性和表达性的三个评估标准。为此，提出了一个基于强化学习的框架，ReCo-RL，并在 Visual Storytelling 数据集上进行了实验验证其优越性。

    Sep, 2019

  • ESTER：一个用于事件语义关系推理的机器阅读理解数据集

    通过自然语言查询，建立了 ESTER 数据集，针对五种最常见的事件语义关系，提供了超过 6,000 个问题和 10,100 个事件关系对，实验结果表明，当前的 SOTA 系统表现明显低于人类表现，并凸显我们的数据集作为一个具有挑战性的基准。

    Apr, 2021

  • 用粒度逐渐调整的方法生成具有方面感知的长而详尽的评论

    本文提出了一种基于方面感知的精细到粗糙的文本生成模型，通过利用方面语义、句法轮廓和上下文信息来提高评论文本生成的自然度和连贯性，实验结果表明该方法有效。

    Jun, 2019

  • 从社交媒体预测短篇叙述的质量

    本研究提出了使用社交媒体点赞数作为故事质量评估的一种方法，并利用神经网络来预测没有社交网络特征的点赞数，为未来的研究提供了强有力的基准。这也是关于叙述质量自动评估的首个大规模研究。

    Jul, 2017

  • 没有完美的度量标准：基于对抗性奖励学习的视觉叙事

    通过 Adversarial REward Learning 框架从人类示范中学习隐式奖励函数，并通过学习后的奖励函数优化策略搜索，提高在生成抽象故事方面的表现，尤其在人类评估中相比最先进系统，取得了显著进步。

    Apr, 2018