May, 2024

幽默机制：运用多步推理推动幽默生成

PDF
TL;DR通过多步推理，我们探讨了一句笑话的生成。通过重构创造幽默的过程并开发工作原型来生成幽默。我们进行了涉及人类参与者的全面实验，将其与人类创造的笑话、零样本 GPT-4 生成的幽默和其他基准进行比较。评估侧重于所生成幽默的质量，以人工标注作为基准。我们的发现表明，多步推理方法始终改善了所生成幽默的质量。我们呈现了结果，并分享了我们实验中使用的数据集，以提供关于如何通过人工智能提升幽默生成的见解。
jokesreasoninghumor generationexperimentsartificial intelligence
发现论文，激发创造
  • 幽默生成的逐步思考指导

    该论文探讨了使用 GPT-3 模型进行幽默生成，包括建模人类喜剧写作理论和利用分步思维指导。此外，还探讨了认知距离在创造幽默方面的作用。

    Jun, 2023

  • 认真对待幽默：使用无趣的大型语言模型构建幽默数据集

    通过编辑文本，我们研究了大型语言模型（LLMs）是否能够生成用于幽默检测的合成数据。我们对现有的人类数据集进行了基准测试，并展示了当前的 LLMs 在判断幽默性和幽默检测的下游任务中，能够令人印象深刻地去除笑话。我们还将我们的方法扩展到了一个混合编码的英文 - 印地语幽默数据集，发现 GPT-4 的合成数据得到了双语注释者的高评价，并为幽默分类器提供了具有挑战性的对抗性例子。

    Feb, 2024

  • 逆向工程讽刺，或 “计算幽默论文” 尽管取得重大进展仍被接受

    本文深入探讨了讽刺新闻标题的语法和语义结构，找到了制造幽默的关键词和概念，为构建制造幽默的系统提供了新的见解。

    Jan, 2019

  • 小而有趣：基于反馈的幽默提炼方法

    大语言模型通过模仿教师反馈进行提炼来传递知识，但在需要复杂的语言理解和创造力的任务上存在性能差距。本研究通过给大语言模型分配双重角色，作为生成数据的 “教师” 和评估学生表现的 “评论家”，研究了与教师的补充指导相关的影响。实验结果表明，将反馈引入到过程中可以显著缩小小语言模型与其大型对应物之间的性能差距，相比纯粹依靠模仿。因此，我们的研究凸显了在通过提炼传递复杂语言能力时，使用反馈作为额外维度的潜力。

    Feb, 2024

  • ChatGPT 很有趣，但并不是滑稽！幽默仍然是具有挑战性的大型语言模型

    利用促发实验，探索 ChatGPT 的幽默感，发现其不能生成新的笑话，但能够解释 、分类有效的笑话，对于无效笑话则提供虚构解释。ChatGPT 还没有完全解决计算幽默的问题，但是它可以成为 “有趣” 机器的一大飞跃。

    Jun, 2023

  • 探索语言模型的多步推理能力的机械解释

    在这篇论文中，我们通过探索一种机械化方法来回答语言模型在多步推理任务中是通过抄袭预训练语料库中记忆的答案还是通过多步推理机制来完成这些任务的疑问。我们引入了一种新的探测方法（称为机械化探测器），从模型的注意力模式中恢复推理树，用于分析两个语言模型：GPT-2 在一个合成任务（第 k 个最小元素）上以及 LLaMA 在两个简单的基于语言的推理任务（ProofWriter 和 AI2 推理挑战）上。我们展示了机械化探测器能够在大多数示例中从模型的注意力中检测到推理树的信息，这表明在许多情况下语言模型确实在其架构中经历了一个多步推理的过程。

    Oct, 2023

  • 幽默检测：一个变形金刚笑到最后

    本文提出新的任务：判断一个笑话是否幽默，通过建立基于 Reddit 站点上近 16,000 标记实例的幽默评分模型，使用 Transformer 体系结构实现语句上下文的学习，取得了与人类表现可比较的成果，并在短笑话和双关语数据集上取得了 93.1% 和 98.6% 的 F-measure，这一方法超过了以前用于这些任务的所有先前工作。

    Aug, 2019

  • 基于图的多跳推理用于长文本生成

    提出了一种融合多跳推理生成（MRG）的方法，该方法利用知识图谱学习句子级语义依赖关系，并分为基于图形的多跳推理模块和路径感知句子实现模块。实验结果表明，与强基线模型相比，MRG 显式地推断出骨架路径，能够生成更具信息性和连贯性的长文本。

    Sep, 2020

  • 探索中国幽默生成：关于双关成语的研究

    该研究探讨了将最先进的语言模型应用于理解和生成中国幽默的能力，特别关注训练这些模型以创建寓言性语言。针对训练方法，研究采用了两种主要方法：对中型语言模型进行微调和对大型语言模型进行提示。经人工标注结果显示，这些模型能够生成幽默的寓言性语言，提示法证明是一种实用且有效的方法。但在生成能与人类创造力匹配的寓言性语言方面仍有改进的空间。

    Mar, 2024

  • 使用 Transformer 全流程生成从科学摘要中获取幽默的标题

    研究了基于 Transformer 的 7 种模型在 NLP 和机器学习场景下的抽象到标题生成问题，并扩展到更难的生成幽默科学论文标题的问题。使用人类和自动度量衡方法评估了所有模型，发现最好的端到端系统与人类作者表现相似，而 ChatGPT 的表现不错。

    Dec, 2022