Dec, 2022

小红帽环游世界：基于大型语言模型的跨语言故事策划与生成

PDF
TL;DR研究跨语言故事生成中采用规划大语言模型来研究故事生成最佳方案，考虑了四种规划策略并系统分析了不同策略的输出差异，表明以问答对形式制定计划可生成更连贯的故事，同时给故事创作者更多的控制权。
发现论文，激发创造
  • 极大预训练语言模型能否通过少量示例学习叙事？

    本文对使用 VLPLMs 和 SOTA 模型在三个不同的数据集上进行的故事生成能力进行了自动和人为评估，结果表明 VLPLMs 生成的故事比其他故事生成模型更高质量，有一定程度上的过人之处，但也揭示了在涉及世界知识的情况下容易 “抄袭” 真实故事的现象。

    Jan, 2023

  • 预训练语言模型的剧情写作

    提出了一种新方法 ScratchPlot，使用 Pre-trained language models，利用 content planning 生成故事情节，并使用 generate-and-rank approach 对所生成的（story, ending）pairs 进行排序。实验表明，在人类评估和自动评估中都获得了更好的结果。

    Jun, 2022

  • 从 Tarzan 到 Tolkien：控制 LLMs 的语言熟练程度用于内容生成

    探讨利用大型语言模型（LLMs）控制文本难度的问题，在不完全精通的终端用户环境中（如语言学习者），通过使用新颖框架评估了几种关键方法的效果，包括少样本提示、监督微调和强化学习（RL），使用 GPT-4 和 LLama2-7B、Mistral-7B 等开源替代品。我们的发现揭示了在使用基于提示的策略时，GPT-4 和开源模型之间存在很大的性能差距。然而，我们展示了如何通过精调和 RL 对齐的谨慎组合来弥合这一差距。我们最佳的模型，CALM（CEFR 对齐语言模型），在仅成本的一小部分下超越了 GPT-4 和其他策略的性能。我们通过小规模的人工研究进一步验证了我们结果的质量。

    Jun, 2024

  • 大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

    通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

    Jan, 2024

  • 创造扣人心弦的故事：利用大型语言模型的迭代规划

    使用迭代提示基于规划的方法，这篇论文首次尝试使用大型语言模型进行悬疑故事生成，并通过广泛的人类评估证明了方法的有效性。

    Feb, 2024

  • LLMs 中并非所有语言的质量相同：通过跨语言思维提示提高多语言能力

    本研究提出了一种名为跨语言思维提示（XLT）的方法，通过激发跨语言和逻辑推理技能，改善了大语言模型的多语言能力，并在与推理、理解和生成有关的 7 个基准测试中进行了全面的评估，实验结果显示 XLT 不仅显著提高了各种多语种任务的性能，而且还显著减少了不同语言中每个任务平均性能和最佳性能之间的差距。

    May, 2023

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • 基于大型语言模型的零射击提示在开放域人机对话中的角色扮演

    采用角色扮演零样本提示作为一种高效且经济有效的方法，本研究使用能遵守指令的多语言 LLM（Beeching 等，2023 年）进行开放领域对话，并设计了一个提示系统，与 Vicuna（Chiang 等，2023 年）模型相结合，产生与精调模型在两个不同任务的人类评估中相匹配甚至超越的对话代理。

    Jun, 2024

  • 机器翻译中的大型语言模型：案例研究

    通过系统研究提示策略，我们填补了机器翻译领域中提示还未得到充分探索的空白区域，证明了使用优质的提示样本能够有效地提高机器翻译的性能。

    Jan, 2023

  • 结构化故事生成策略

    本研究探索了一种新型的粗粒度到细粒度的模型，可以生成故事文本，并通过抽象行为和实体来分解故事，生成谓词 - 参数结构的文本，最终替换实体占位符。经过广泛的分析和人工评估，我们的方法可以提高生成的故事中事件和实体的多样性和连贯性。

    Feb, 2019