Jun, 2024

DocGenome：用于训练和测试多模态大型语言模型的开放式大规模科学文档基准

PDF
TL;DR通过提取自科学文档中的多模态数据，并评估大型模型处理科学文档任务的能力，对科学文档记录的研究发现和有价值的人类知识进行综合性的数据分析是有意义的。我们介绍了 DocGenome，这是一个结构化文档基准，通过我们的自定义自动标注流水线对 arXiv 开放访问社区中的 153 个学科的 50 万份科学文档进行注释，它具有完整性、逻辑性、多样性和正确性等四个关键特征。我们进行广泛的实验证明了 DocGenome 的优势，并客观评估了大型模型在我们的基准上的性能。
发现论文，激发创造
  • Multi-XScience：一种用于科学文章极端多文档摘要的大规模数据集

    我们提出了 Multi-XScience 数据集，这是一个从科学文章中创造出来的大规模多文档摘要数据集，包括文献综述部分的写作，并且适用于抽象模型。通过使用 Multi-XScience 数据集对多个最新技术模型的实验结果，在技术上证明了其适用性。

    Oct, 2020

  • M$^{6}$Doc：现代文档布局分析的大规模多格式、多类型、多布局、多语言、多注释类别数据集

    本文介绍了一种名为 $M^{6} Doc$ 的大型多样化文档布局分析数据集和一种基于 transformer 的文档布局分析方法 TransDLANet。该方法采用自适应元素匹配机制和构建分割分支，以更好地匹配真实情况，并且实现更精确的文档图像实例分割，其中 $M^{6} Doc$ 数据集展示了其有效性，并且 TransDLANet 在该数据集上达到了 64.5％的 mAP，该数据集具有多种注释类别的特点。

    May, 2023

  • BEND：对 DNA 语言模型在有生物学意义的任务上进行基准测试

    基因组序列是指导细胞过程的蓝图，该研究介绍了一种基于人类基因组的 DNA 语言模型评估方法 BEND，该模型能够在某些任务上接近专家方法的性能，但仅能捕获关于长程特征的有限信息。

    Nov, 2023

  • DocBank: 一个文档布局分析基准数据集

    本文介绍了 DocBank，一个包含 500K 篇文档页面的基准数据集，其中包含细粒度的令牌级别的注释，用于文档布局分析的多模态方法的性能提高研究。实验结果表明，使用 DocBank 训练出的模型可以准确识别各种不同类型的文档的布局信息。

    Jun, 2020

  • Geneverse: 用于基因组学和蛋白质组学研究的开源多模态大型语言模型集合

    基因组学和蛋白质组学研究中的大型语言模型（LLMs）应用前景广阔。我们提出了一种名为 Geneverse 的针对基因组学和蛋白质组学研究中三个创新任务的经过微调的 LLMs 和多模态 LLMs（MLLMs）集合。Geneverse 模型基于领域特定的数据集进行训练和评估，我们使用高级的参数高效微调技术来实现模型适应性，包括生成基因功能描述、从蛋白质结构推理蛋白功能以及从空间转录组数据中选择标记基因。我们证明经过调适的 LLMs 和 MLLMs 在这些任务中表现良好，可能在准确性和结构正确性方面优于基于闭源的大规模模型。我们所使用的所有训练策略和基本模型均可以免费获取。

    Jun, 2024

  • SciReviewGen：用于自动文献综述生成的大规模数据集

    通过 SciReviewGen 数据集，我们评估了最近基于 Transformer 的文献综述生成模型在文献综述生成任务上的表现，其中包含用于文献综述生成扩展的 Fusion-in-Decoder 模型，并且发现自动生成的摘要已经可以和人工撰写的综述媲美，但是也揭示出文献综述自动生成的挑战，例如幻觉和缺乏详细信息。

    May, 2023

  • SciXGen：面向上下文感知文本生成的科学论文数据集

    文章提出了一种新的任务，即科学领域的上下文感知文本生成，并介绍了规模庞大的科学论文数据集 SciXGen，其中包含了 205,304 篇完全注释的论文和广泛使用对象（如表格，图形，算法）的完整引用。使用最新技术进行综合性评估，同时公开数据集和基准，以促进科学文本生成研究。

    Oct, 2021

  • DocPedia: 在频域释放大型多模态模型的能力，实现多功能文档理解

    DocPedia 是一种新型的大型多模态模型，用于 OCR-free 文档理解，能够处理高分辨率图像。通过在频域而不是像素空间中直接处理视觉输入，DocPedia 能够利用有限数量的视觉标记捕捉更多的视觉和文本信息。通过开发双阶段训练策略和丰富的训练任务指导 / 注释，我们不断增强模型的感知和理解能力，实验证实了联合学习感知和理解任务的互利益。结果进一步证明了我们的 DocPedia 相比其他方法的有效性和优越性能。

    Nov, 2023

  • GenoTEX: 基于 LLM 的基因表达数据探索与生物信息学家对齐的评估基准

    通过引入 GenoTEX 作为一个基准数据集，我们展示了 LLM（大型语言模型）方法在基因组数据分析中的潜力，并提出了 GenoAgents 团队作为解决基因数据集任务的基线算法，同时也指出了改进的挑战和方向。

    Jun, 2024

  • SCALE：高级语言模型评估复杂度的扩展

    该研究引入了一个基于瑞士法律系统的多维 NLP 基准测试，包括长文本处理、领域特定知识拥有、多语言理解、多任务等挑战，该基准测试可以用于测试和推广最先进的 LLMs 模型。

    Jun, 2023