该研究探索生成式人工智能与人类艺术过程相交的关键领域，针对人类为中心的自动歌曲创作中对齐的关系进行研究。通过提出口语描述到歌曲生成的新任务，着重于将生成的内容与口语人类表达相对齐。为了充分满足人类听觉期望并与音乐规范结构对齐的最终目标，该任务旨在弥合口语语言理解和 AI 模型中的听觉表达之间的鸿沟。通过介绍由专业音乐家和业余爱好者手动注释的 Caichong 音乐数据集（CaiMD），克服了该领域中数据匮乏的限制。与现有具有专家注释或存在固有偏见的自动生成数据集不同，CaiMD 更能满足我们将 AI 生成的音乐与用户期望结果对齐的目的。此外，提出了一种创新的名为 MuDiT/MuSiT 的单阶段框架，用于在歌曲创作中实现有效的人机对齐。该框架不仅实现了口语语言与音乐知觉之间的跨模态理解，还确保生成的歌曲与用户期望结果对齐。MuDiT/MuSiT 采用一种 DiT/SiT 模型，用于端到端生成如旋律、和声、节奏、人声和乐器等音乐元素。该方法确保所有生成的音乐元素之间具有和谐的音响连贯性，以更好地与人类听觉期望产生共鸣。

Jul, 2024

本文介绍了一个涵盖自然科学、社会科学、工程学和人文学科等多个领域的全面中文基准 CMMLU，并通过评估 18 种面向性能的多语言和中文 LLMs，在不同的主题和设置下评估它们的性能，结果显示，大多数现有 LLM 在提供上下文示例和思维链提示时仍然难以达到 50% 的平均准确性，而随机基准线为 25%，这凸显出 LLMs 有显着的改进空间。

Jun, 2023

CMMMU 是一个新的中国大规模多学科多模态理解基准，旨在评估大型多模态模型在中国语境中对要求大学级学科知识和深思熟虑推理的任务上的表现，并推动下一代 LMMs 的发展。

Jan, 2024

MuLan 是一种新型的声学模型，通过将音乐音频直接链接到自由形式的文字注释，构建与各种音乐流派和文本样式兼容的音频 - 文本表示，具有真正的零样本功能，可用于传输学习、零样本音乐标记、音乐领域语言理解和跨模态检索应用等。

Aug, 2022

本文提出了 MulCogBench，这是一个从中国和英国的参与者中收集的多模态认知基准数据集，包括主观语义评分、眼动、功能性磁共振成像（fMRI）和脑磁图（MEG）等多种认知数据。结果表明，语言模型与人类认知数据有显著相似性，而相似性模式受数据模态和刺激复杂性的调节。这些结果表明语言模型与脑语言表示有微妙的关联，并且中英文之间的结果高度一致，表明这些发现具有普适性。

Mar, 2024

通过提出 C^3bench，我们在五个主要的古文理解任务中广泛评估了 15 个代表性大语言模型的定量性能。结果表明，现有的大语言模型在古文理解任务上仍然表现不佳，相比受监督模型仍然较差。我们相信这项研究可以为未来基于大语言模型的古文理解研究提供标准基准、全面的基线和有价值的见解。

May, 2024

我们提出了 ZIQI-Eval，这是一个用于评估大型语言模型音乐相关能力的综合性和大规模的基准测试。我们通过评估 16 个大型语言模型在音乐领域的表现发现，它们在 ZIQI-Eval 基准测试中表现低下，而且存在提升音乐能力的巨大空间。通过 ZIQI-Eval，我们旨在提供一个标准化和强大的评估框架，便于全面评估大型语言模型的音乐相关能力。

Jun, 2024

介绍了 AlignBench，这是一个多维基准，用于评估中文大型语言模型（LLMs）的对齐能力。使用人机协作的数据处理流程，通过使用 Rule-calibrated 多维 LLM 作为评判者和思维链来生成解释和最终评级，确保评估的可靠性和解释性。此外，开发了专门用于评估中文 LLMs 对齐性的伴侣评估模型 CritiqueLLM，可通过公共 API 提供给研究人员使用。

Nov, 2023

为了解决医学大语言模型的评估工作耗时且需要大量人力的问题，我们引入了 MedBench，这是一个综合性的基准测试，包括来自医学各领域的 40,041 个问题。通过对医学语言学习模型的知识掌握和推理能力进行评估，MedBench 建立了一个可靠的标准，揭示了医学大语言模型的能力和限制，以帮助医学研究社区。

Dec, 2023

该研究针对传统汉语在现有基准测试中的低覆盖率，提出了适用于评估大型语言模型的 TMLU 综合评估工具，通过中学到专业水平的 37 个科目以及对每个科目进行链式思考式的少样本解释，基于 24 个优秀的语言模型的广泛实验证明汉语公开权重模型在复杂推理能力上表现较差，而适用于台湾国语的开放权重模型也相对于简体中文版本存在差距，研究发现存在提升潜力，强调了培养本土化台湾国语大型语言模型的目标，并公开了基准测试和评估脚本以促进未来研究。

Mar, 2024