May, 2020

将科学摘要分成话语类别：一种基于深度学习的稀疏标记数据方法

PDF
TL;DR运用迁移学习，我们在计算机科学领域使用深度神经网络模型训练出三个共性的学术论文段落开头，分别是 BACKGROUND、TECHNIQUE 和 OBSERVATION，用以进行抽象语段级别的分割，并取得了 75% 的准确度。
abstractdiscourse segmentationtransfer learningneural networkcomputer science
发现论文，激发创造
  • 医学摘要的分类分节：一系列序列分类任务

    本研究基于最先进的深度学习模型（SSN-4 模型），探讨了不同的模型组件对表现和复杂性之间的平衡，同时调整单词嵌入来提高性能，并提出了一个解决第一个模型中混淆的对的第二个模型。结果表明，SSN-4 模型似乎不适用于 RCT 数据集之外。

    Jan, 2022

  • 基于自然语言处理的原始研究文章分类之外

    本研究提出了一种针对未知类别的科学文献的文本分类的新方法，使用自然语言处理技术。该研究利用预训练的语言模型（特别是 SciBERT）从 ArXiv 数据集的摘要中提取有意义的表示。文本分类使用 K-Means 算法进行，并根据 Silhouette 得分确定最佳聚类数。结果表明，所提出的方法比传统的 arXiv 标签系统更有效地捕捉主题信息，从而改善了文本分类。该方法为科学研究文献快速增长的领域提供了更好的导航和推荐系统的潜力。

    Sep, 2023

  • 长篇科学文档的基于话语的无监督摘要

    本文提出了一种基于无监督的基于图的排名模型，用于提取科学文献的摘要。我们的方法假定源文档采用两级分层图表示，并利用不对称的位置提示来确定句子的重要性。在 PubMed 和 arXiv 数据集上的结果表明，我们的方法在自动指标和人工评价方面优于强无监督基线。此外，其性能与许多基于监督学习的方法相当。这些结果表明，篇章结构中的模式是确定科学文章重要性的强有力信号。

    May, 2020

  • 基于深度学习的 “Web of Science” 研究领域层次分类

    通过利用抽象、将学术出版物自动分类为专业领域体系结构的一种基于模块化和分布式批量训练的层次分类系统 <discipline-field-subfield>，从而在知识生产和引用间捕捉相互依存的关系，进而更好地对学术出版物进行索引。

    Feb, 2023

  • 科学文章句级嵌入的分类与聚类：对比学习生成

    使用对比学习来微调句子 Transformer 模型，生成科学文章中的句子级嵌入，并将其用于科学文章中的句子分类任务，取得了显著的改进。

    Mar, 2024

  • 基于弱监督深度学习的生物医学文献大规模细粒度语义索引

    本研究提出了一种基于深度学习的自动化主题注解细化方法，通过在文章摘要中的概念出现来进行弱监督，发现概念出现是自动化主题注解细化的强有力依据，还可以与基于字典的启发式算法相结合以进一步提高准确率。

    Jan, 2023

  • 利用基于 BERT 的模型推动跨学科研究：通过 SciBERT-CNN 与主题建模的方法

    该论文介绍了一种使用 SciBERT 模型和 CNN 的新方法，通过处理摘要、正文、标题和关键词等多个部分，以解决多标签文本分类中的语义关系和类别不平衡问题，并在文献综述效率方面取得显著改进。

    Apr, 2024

  • 基于 LSTM 的深度神经网络，关注于句子表示，用于医学科学摘要中的序列句子分类

    医学摘要中的连续句子分类任务（SSC）使用多级深度学习模型，包括 LSTM-based 网络和分层结构，来提取句子嵌入，进而实现更好的分类性能。

    Jan, 2024

  • 语言模型在半结构化和非结构化对话数据集中的主题分割

    我们综合分析了现有的最先进主题分割模型在非结构化文本上的泛化能力，并发现充分训练目标非结构化领域的相对较小规模数据集可以显著提高分割结果。在对非结构化和半结构化聊天进行分割时，我们的实证评估表明，Focal Loss 函数是交叉熵和加权交叉熵损失函数的一个强大的替代方案。

    Oct, 2023

  • 使用循环神经网络的科学话语中基于从句级别的结构化预测的实验分割

    本研究提出了一个基于深度学习的模型，通过序列标注和注意力机制，对科学文献中实验叙述中的结构进行识别，并比较了不同模型的效果和可能的应用。

    Feb, 2017