- QRMeM:通过问题和反思记忆机制突破长度限制
通过引入基于问题和反思的记忆机制策略,结合静态文本内容和结构化图引导,提升了大型语言模型在文本处理和问答任务上的性能表现。
- MM评估大型语言模型用于公共卫生分类和提取任务
基于对 LLMs 在公共卫生任务中的自动评估,将六个外部注释数据集与七个新的内部注释数据集相结合,评估 LLMs 在处理与健康负担、流行病学危险因素和公共卫生干预相关的文本中的性能,发现 Llama-3-70B-Instruct 是性能最好 - 使用 RoBERTa 和正则表达式从临床记录中提取牙周炎诊断
利用文本处理和自然语言处理模型来挖掘临床笔记以诊断牙周炎,并评估命名实体识别模型在不同正则表达式方法上的性能。研究表明,随着正则表达式算法复杂度的增加,F1 分数从 0.3-0.4 增加到约 0.9。命名实体识别模型在评估指标中表现出优异的 - MatNexus:材料发现的综合文本挖掘和分析工具套件
MatNexus 是一款专业的软件,用于自动收集、处理和分析来自科学文章的文字。通过一套集成的模块,MatNexus 简化了科学文章的检索、处理文字数据以获得见解、生成适用于机器学习的向量表示,并提供了词嵌入的可视化功能。在大量科学出版物中 - 结合语义和统计方法的 Instagram 社交网络帖子自动摘要
本研究开发了一个爬虫来提取 Instagram 社交网络上受欢迎的文本文章,并结合一组抽取和抽象算法来展示如何使用每个抽象算法,观察 820 个受欢迎的文本文章在社交网络上的准确性(80%)。
- EMNLP使用检索增强和多阶段精炼的大型语言模型的查询意图
本文介绍一种实用而有效的检索增强方法(QUILL),它能够通过检索增强大型语言模型在查询理解方面的能力,而不会增加计算量。我们提出了一种新颖的两阶段蒸馏方法来处理检索增强的模型,证明了这种方法在公共基准测试中取得了出色的性能。
- KSG:知识与技能图
提出了一种基于动态技能知识图谱(KSG)的新型技能检索和学习方法,可以在各种环境中搜索不同代理的技能并提供可转移的信息来获取新技能,从而提高了新技能学习的效率。
- 通过概念化解释嵌入空间
本文提出了一种将任何嵌入空间转换成易理解的概念空间的方法,并展示了该方法在语义表示方面的实用价值,如发现潜藏的偏见和比较不同模型间语义的差异。
- 从维基百科修订历史中挖掘自然形成的纠错和改写
通过 Wikipedia 修订历史创建的 WiCoPaCo(Wikipedia 纠正和改写语料库)是一个重要的资源,它包含了人工编辑的大量文本修正和改写,对于训练、评估自动处理文本的过程以及语言研究都非常有用,本文介绍了 WiCoPaCo - 运用自然语言处理和机器学习开发伪新闻模型
通过机器学习算法,在两个公开数据集上进行实验分析,研究了如何检测和区分真假新闻,结果表明采用了三种分类器:被动型侵略性、朴素贝叶斯和支持向量机,这种方法具有良好的性能表现。
- 印地文文本分类的深度学习比较
本研究旨在调查各种深度学习架构在印地语文本分类任务中的应用。本文使用了卷积神经网络(CNN)、长短时记忆网络(LSTM)、注意力机制等模型,比较了多语言预训练句子嵌入(BERT 和 LASER)和传统翻译方法的优劣,也为流行的文本分类技术提 - EMNLP理解卷积神经网络在文本分类中的应用
本文研究了卷积神经网络在文本处理中的工作原理。作者发现,使用不同的神经元激活模式可以捕获不同的语义类别的 N-gram,并且 Max-pooling 操作可以区分出重要的 N-gram。最后,作者给出了基于研究结果的实际应用,包括模型可解释 - 文本中的自动语言识别:一项调查
文章介绍了语言识别的概念及其历史,对现有的特征和方法进行了调查和评估,讨论了评估方法、应用和开放问题,并提出了未来的研究方向。
- ACL用于文本分类的深层卷积神经网络
本文介绍了一种新的基于 VDCNN 的文本处理体系结构,通过使用 29 个卷积层,仅使用小型卷积和池化操作,该模型的性能得到了提高,并且在多个公共文本分类任务上,相对于现有模型,且在文本处理中使用非常深的卷积神经网络实现了最先进水平。
- 针对文本建模的 CNN:非线性、非连续卷积
论文研究了采用低秩 n 元张量和模式加权的时序卷积网络(TCN)用于文本处理,在标准的情感分类和新闻分类任务中实现了最新的性能
- 从频率到意义:向量空间语义模型
该论文总结并分类了向量空间模型在语义文本处理中的应用,分为三类主要矩阵结构:项 - 文档、词 - 上下文和对模式矩阵,主要介绍了这三个类别中的广泛应用及其在开源项目中的详细研究,并旨在为熟悉或不熟悉该领域的人提供一些新的研究视角。
- ACL文本分类中的误差驱动学习
针对文本分类任务,本研究提出了一种基于 Littlestone's Winnow 算法的学习算法,利用线性分离器对测量文本特征空间的高度稀疏性和高维度等特性进行分类,通过训练阶段中的特定技术进一步改进算法,从而显著提高算法的性能。