Jul, 2024

同古：基于知识的大型语言模型理解古代汉语

HTML
PDF
TL;DRTongGu is a CCU-specific LLM that utilizes ACCN-INS dataset, RAT, and CCU-RAG techniques to enhance Classical Chinese comprehension and reduce hallucinations.
发现论文，激发创造
  • Kanbun-LM：运用语言模型阅读和翻译日本文献中的古代汉文

    研究建立了世界首个古汉语至关文数据集，并进一步探讨了在这些语言任务上AIML中的现有语言模型的表现及最佳评估方法。

    May, 2023

  • CMMLU: 用于测量中文海量多任务语言理解的工具

    本文介绍了一个涵盖自然科学、社会科学、工程学和人文学科等多个领域的全面中文基准 CMMLU，并通过评估 18 种面向性能的多语言和中文 LLMs，在不同的主题和设置下评估它们的性能，结果显示，大多数现有LLM在提供上下文示例和思维链提示时仍然难以达到50%的平均准确性，而随机基准线为25%，这凸显出LLMs有显着的改进空间。

    Jun, 2023

  • 大型语言模型能否理解古代汉语？对ACLUE进行初步测试

    ACLUE是一个评估基准，通过评估八个现代语言模型在理解古代汉语方面的能力，观察到它们在现代汉语和古代汉语之间的性能存在显著差异，其中ChatGLM2表现最出色，获得了平均37.4%的得分。

    Oct, 2023

  • 中文数据处理之翘楚：英文代码模型

    使用基于代码的大型语言模型在非编码汉语任务中可显著提高性能，特别是对于对汉语幻觉敏感的任务，语言学特征较少的模型表现更好，我们的研究还对哲学“中国屋”思想实验提供了独特的观点。

    Jan, 2024

  • CIF-Bench：一个用于评估大型语言模型通用性的中文指令遵循基准

    LLMs在处理中文任务方面存在限制，该研究引入了中文指令跟踪基准（CIF-Bench），评估LLMs对中文语言的零射击泛化能力，并揭示出评估偏差和性能差距问题。

    Feb, 2024

  • AC-EVAL：在大型语言模型中评估古汉语理解能力

    为了满足大型语言模型（LLMs）对古代语境的理解的评估需求，本研究设计了AC-EVAL基准测试，用于评估LLMs在古代汉语背景下的高级知识和推理能力。通过涵盖历史事实、地理、社会习俗、艺术、哲学、古典诗歌和散文等13个任务，AC-EVAL提供了一个全面的评估框架。评估结果发现针对英文和中文进行优化的LLMs在古代文本理解方面具有巨大潜力。AC-EVAL旨在通过揭示LLMs的优势和劣势，促进它们在古代汉语语言教育和学术研究领域的发展和应用。

    Mar, 2024

  • 衡量台灣普通話語言理解能力

    该研究针对传统汉语在现有基准测试中的低覆盖率，提出了适用于评估大型语言模型的TMLU综合评估工具，通过中学到专业水平的37个科目以及对每个科目进行链式思考式的少样本解释，基于24个优秀的语言模型的广泛实验证明汉语公开权重模型在复杂推理能力上表现较差，而适用于台湾国语的开放权重模型也相对于简体中文版本存在差距，研究发现存在提升潜力，强调了培养本土化台湾国语大型语言模型的目标，并公开了基准测试和评估脚本以促进未来研究。

    Mar, 2024

  • FoundaBench: 评估大型语言模型在中文基础知识能力上的表现

    本研究介绍了FoundaBench，这是一个旨在严格评估中国语言和文化定制的大型语言模型的基础知识能力的开创性基准。使用FoundaBench对12个最先进的语言模型进行了全面评估，结果表明在中文语料库上预训练的模型性能更优，同时发现模型的推理和记忆能力存在显著差异。FoundaBench评估得出的见解为理解大型语言模型的基础知识奠定了新的标准，为未来领域的进展提供了一个强大的框架。

    Apr, 2024

  • C$^{3}$Bench：一个面向大型语言模型的综合性古代汉语理解基准

    通过提出C^3bench，我们在五个主要的古文理解任务中广泛评估了15个代表性大语言模型的定量性能。结果表明，现有的大语言模型在古文理解任务上仍然表现不佳，相比受监督模型仍然较差。我们相信这项研究可以为未来基于大语言模型的古文理解研究提供标准基准、全面的基线和有价值的见解。

    May, 2024

  • 大型语言模型中的中文知识校正基准测试

    本研究解决了大型语言模型在处理中文时存在的知识缺失和生成无意义信息的问题，尤其是在古诗、成语等领域。论文提出了一个新的中文数据集CKnowEdit，通过收集七类知识，帮助评估当前模型在中文处理中的挑战，并揭示了知识编辑技术在中文知识校正方面的改进潜力。

    Sep, 2024