利用神经表示对短篇小说中的悬念建模为不确定性减少
文章介绍了如何通过自我训练深度学习模型,应用自监督系统的叙事理论方法来推断故事中的重点,惊喜和吸引力,并应用于小说和戏剧等领域,具有广泛的适应性和应用前景。
Jun, 2022
本文介绍了一种注释危险情境的文本语料库,研究了悬疑小说中利用危险情境建立悬疑的方法,并进行了自动检测实验。同时发现,描述危险和恐惧的文本内容往往在很大程度上依赖于上下文。
May, 2023
通过使用变分自动编码器,监督潜在表示仅然可达到好的结果,然而基于对抗学习和互信息最小化的辅助目标可以提供额外的脱缰效果,以此来将否定,不确定性和内容的表示相分离。
Apr, 2022
通过对两个已预训练模型 PEGASUS 和 BART 进行分析,本文探讨了在两个文本摘要数据集上,token-level 预测的不确定性与模型规律的关系,发现模型在复制标记而非生成新文本的情况下,预测熵值较小;同时,不确定性与句子位置、相邻标记之间的语法距离等因素有关,并阐述了注意力机制对模型效果的影响。
Oct, 2020
该论文介绍了一种基于 “对比分布” 的简单方法,该方法通过训练一个从表示到分布的深度网络,并使用方差来衡量置信度,从而赋予预训练的对比表示学习不确定性的能力。在实验中,作者展示了该深度不确定性模型可用于视觉解释模型行为、检测已部署模型中的新噪声和异常,其中在 11 个任务中,对比 10 种基线方法改进了 14%以上,同样可以用于分类超出分布的示例,其性能可与有监督方法竞争。
Oct, 2020
本篇论文提出了一种基于神经网络和新型 dropout - 熵测量方法的模型以及基于特征表示的度量学习方法,可以更精确地预测,提高分类器的预测准确性,尤其在医学诊断等需要确定不确定预测的领域有广泛的应用。
Jul, 2019
本研究利用 Barthes Cardinal Functions 和 surprise 和理论为基础的无监督方法,将其应用于长篇叙事形式中,改进了标准 transformer 语言模型,通过引入 Retrieval Augmented Generation 的外部知识库和添加记忆机制来提高该语言模型在长篇作品中的性能,使用来自 Shmoop 语料库的章节摘要来推导显著性标注的新方法,针对这些数据进行的评估证明,与非知识库和记忆增强语言模型相比,我们的显著性检测模型提高了性能,这两者对于此改善至关重要。
Sep, 2021
本文研究如何将模型和数据的不确定性估计融入自然语言处理模型中,用以辨识在线谣言,我们提出了两种基于不确定性的算法,并证明可以优先处理容易出错的实例进行人工事实核查。同时,我们还展示了如何使用不确定性估计来解读谣言传播中的模型表现。
May, 2020