Dec, 2023

TPPoet：使用最小数据和高级解码技术的基于 Transformer 的波斯诗歌生成

PDF
TL;DR通过在专业数据集上使用变压器架构训练一个波斯古典诗生成模型，并提出一种新的解码方法来增强生成的诗歌的连贯性和意义，有效地平衡多样性和质量，并通过全面的自动和人工评估证明了该方法相对于其他解码方法和现有的波斯大型语言模型具有更为卓越的生成连贯和富有意义的诗歌的能力。
language modelslmspersian classical poetry generationtransformer architecturedecoding method
发现论文，激发创造
  • 使用 Transformers 评估波斯语 - 英语机器翻译数据集

    本研究基于最受欢迎和有价值的平行语料库，将两种最先进的基于注意力的 seq2seq 模型应用于波斯语 - 英语机器翻译任务，旨在为研究人员提供标准基准，以评估其翻译结果。

    Feb, 2023

  • 基于 GPT 的古典华语诗歌生成

    利用预训练语言模型生成高质量文言诗的简单有效方法。该方法采用 GPT 模型，生成各种形式的文言诗，包括绝句、律诗、词牌和对联。同时进行了微调并实现了生成藏头诗的方法。我们已在微信上发布了一个在线演示程序，以展示这种方法在生成文言诗方面的能力。

    Jun, 2019

  • 越南诗歌生成与跨语言诗歌翻译前景

    使用大型语言模型从自然语言提示中生成越南诗歌，以提升内容控制能力。最佳模型为 GPT-3 Babbage 变体，在越南诗歌的 “luc bat” 类型上获得 0.8 的自定义评估分数。同时，探索将诗歌改写为普通文本提示的想法，在 “luc bat” 类型中获得 0.718 的较高分数。该实验展示了以翻译诗歌作为输入进行跨语言诗歌之间的翻译，并同时完全控制生成内容的潜力。

    Jan, 2024

  • 阿拉伯 GPT：基于阿拉伯语的大型语言模型

    本研究旨在解决目前英语和拉丁语为主导的大型语言模型 (LLMs) 中，对于阿拉伯语母语的阿拉伯 LLMs 的缺乏问题。通过提出 ArabianGPT 系列模型，结合 AraNizer 分词工具和微调技术，有效改进了阿拉伯语自然语言处理的准确性和性能。

    Feb, 2024

  • 朝着更小、更快的只解码 Transformer：架构变体及其影响

    本研究引入了三种变体（ParallelGPT、LinearlyCompressedGPT 和 ConvCompressedGPT）来修改解码器专用的 Transformer 架构，这些变体在代码生成任务中取得了可比较的性能，同时具有模型尺寸较小和训练时间更快的优势。

    Apr, 2024

  • 神经诗歌翻译实证研究

    本文旨在探索机器翻译在诗歌翻译方面的应用，研究并比较了诗歌和非诗歌语料库大小、双语和多语言学习、以及使用语系特定模型和混合多语言模型的效果，得出多语言微调在诗歌翻译中具有重要性和优越性。

    Sep, 2021

  • 利用 RoBERTa 和 GPT-2 生成现代法语诗歌

    本研究提出了一种新颖的神经模型，用于生成现代法语诗歌，该模型由两个预训练的神经模型组成，经过微调以进行诗歌生成任务。模型的编码器是基于 RoBERTa 的，解码器基于 GPT-2，这样模型可以受益于 RoBERTa 较好的自然语言理解性能和 GPT-2 较好的自然语言生成性能。通过评估结果表明，该模型能够成功地生成法语诗歌。在一个 5 分制的评分中，输出诗歌的典型性和情感得分最低为 3.57 分，可读性得分最高为 3.79 分。

    Dec, 2022

  • 使用深度学习技术生成的乌尔都诗歌

    使用不同的深度学习技术和算法生成乌尔都诗歌，通过 Rekhta 网站收集了 1341 个文本文件，采用 LSTM 和 GRU 等深度学习技术，并运用自然语言处理和机器学习分析和生成人们能够理解和使用的乌尔都语诗歌。

    Sep, 2023

  • 大型语言模型的概念与实施调查

    基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动工具在改变编码、问题解决等传统任务上起到的转变性影响进行了研究，同时开辟了在不同行业中进行研究和开发的新方向。从代码解释和图像描述到便于构建交互式系统和推动计算领域的发展，Transformer 模型展示了深度学习、数据分析和神经网络设计相结合的协同作用。本调查报告深入了解了 Transformer 模型的最新研究，突出了其多功能性和在实际应用领域中转型的潜力，从而为读者提供了对 Transformer-based LLMs 在当前和未来实际应用领域的全面理解。

    Mar, 2024

  • 轮询潜在观点：使用变换器语言模型的计算机社会语言学方法

    使用 Transformer Language Models 等方法对 Yelp 评论进行语言行为学习，并利用 prompt-based queries 生成合成文本以分析特定观点，证明即使在缺乏特定关键词的情况下，这些模型也能准确产生具有正确情感的大量文本。

    Apr, 2022