Sep, 2024

ChemEval:面向大型语言模型的全面多层次化学评估

TL;DR本研究解决了现有大型语言模型(LLMs)评估在化学领域的不足,提出了ChemEval评估体系,以评估LLMs在多种化学任务中的能力。结果表明,一般LLMs在文献理解方面表现良好,但在需要高级化学知识的任务中存在不足,而专用LLMs则在化学能力上有所提升,这显示了优化LLMs以应对复杂化学任务的潜力。