Sep, 2024

大型语言模型的认知领域基准：来自台湾客家文化的见解

HTML
PDF
TL;DR本研究针对大型语言模型（LLMs）在理解和处理特定文化知识方面的能力进行了基准评估，重点关注客家文化。使用布鲁姆分类法，建立了一个多维框架，评估LLMs在六个认知领域的表现，并发现检索增强生成（RAG）技术能够显著提升准确性，尤其是在需要精准检索和应用文化知识的任务中。研究结果彰显了这一基准在推动AI驱动的文化知识保存与传播方面的重要价值。
发现论文，激发创造
  • KoLA：大型语言模型世界知识的精细基准测试

    我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估21个开源和商业大型语言模型的能力和知识相关度。

    Jun, 2023

  • CDEval：评估大型语言模型文化维度的基准

    利用GPT-4自动生成并通过人工验证的方式，我们构建了一个评估LLMs文化维度的新基准，CDEval。通过研究主流LLMs的文化方面，我们得出了一些有趣的结论，强调了在LLM开发中整合文化考量的重要性，特别是在多元文化环境中的应用。通过CDEval，我们旨在为LLM的未来发展和评估提供一个更全面的框架，为文化研究提供宝贵的资源，为构建更具文化意识和敏感性的模型铺平道路。

    Nov, 2023

  • 文化协作：AI辅助的互动式红色对抗测试，应对在低动态范围线性模型中文化多元知识的挑战

    CulturalTeaming是一个人工智能系统，与人类合作创建多元文化知识评估数据集，通过与人类的互动合作，利用大型语言模型的自动化功能，提高文本注释者的能力并改善他们的体验，从而评估大型语言模型的多元文化知识，并揭示了现代大型语言模型在多元文化能力上存在的显著差距。

    Apr, 2024

  • 了解大型语言模型在文化常识方面的能力和局限性

    通过对多个最先进的大型语言模型的文化常识任务的能力和限制进行全面检验，我们发现大型语言模型在文化特定的常识知识上的表现存在显著差异，其通用常识能力受到文化环境的影响，并且提出查询大型语言模型所使用的语言会影响其在与文化相关的任务上的表现，我们的研究指出了大型语言模型在文化理解方面的固有偏见，并提供了帮助开发具备文化意识的语言模型的洞见。

    May, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • DomainRAG: 用于评估领域特定的检索增强生成的中文基准

    检验Retrieval-Augmented Generation （RAG）在特定领域环境中的能力与效果，评估存在的限制并寻求改进的研究。

    Jun, 2024

  • BLEnD: 基于多元文化和语言的常识性LLM基准

    LLMs在文化敏感性方面缺乏对日常生活的文化特定知识，不同于在线来源如维基百科，BLEnD通过手工设计的基准评估了LLMs对多元文化和语言的日常知识，结果显示LLMs在高度在线代表的文化中表现更好，而在低资源语言文化中表现更好的是英语而非本地语言。

    Jun, 2024

  • 大型语言模型与认知科学：相似性、差异性及挑战的全面评述

    本综述研究了大型语言模型（LLMs）与认知科学交叉领域的相似性与差异性，分析了LLMs的认知能力评估方法及其作为认知模型的潜力。主要发现是LLMs在认知科学研究中的应用提供了重要见解，并指出了LLMs在与人类认知对齐过程中的挑战及未来研究方向。

    Sep, 2024

  • 大语言模型与认知科学：相似性、差异性与挑战的全面评述

    本研究探讨了大语言模型（LLMs）与人类认知过程之间的相似性与差异性，填补了这一领域的研究空白。文章提出了一种评估LLMs认知能力的新方法，并指出了LLMs作为认知模型的潜力。研究结果强调了LLMs在理解人工智能及人类智能方面的重要性，并提出了未来研究方向。

    Sep, 2024

  • 大型语言模型与认知科学：相似性、差异性及挑战的综合评审

    本研究探讨了大型语言模型（LLMs）与认知科学的交集，分析了LLMs与人类认知过程之间的相似性和差异性。研究的主要发现是，尽管LLMs表现出某些认知能力，但仍存在认知偏见与局限性，需要进一步研究和改进，以推动理解人工智能与人类智能的进步。

    Sep, 2024