Jan, 2024
基于无词汇模型的语言模型生成更有准确格式的中国古典诗歌
Token-free LLMs Can Generate Chinese Classical Poetry with More Accurate Format
Chengyue Yu, Lei Zang, Jiaotuan Wang, Chenyi Zhuang, Jinjie Gu
TL;DR本研究通过验证现行基于标记的大型语言模型在标记 - 字符关系方面的知识限制,并提出一种基于字符级或字节级标记的无标记模型,该模型在格式准确性方面表现优异,为解决生成中文古典诗歌的格式问题提供了一个可行的解决方案。