EMNLPJul, 2017

文本预处理在神经网络架构中的作用：文本分类和情感分析的评估研究

PDF
TL;DR本文研究了文本预处理决策（特别是分词、词形还原、小写和多词组合）对标准神经文本分类器性能的影响，并在文本分类和情感分析这两个方面进行了广泛的评估。我们发现，虽然简单的分词通常足够，但预处理技术之间仍存在显着差异，因此这个通常被忽视的步骤很重要，特别是在比较不同模型时，最终评估提供了有关训练词嵌入的最佳预处理实践的见解。
发现论文，激发创造
  • 预处理对阿拉伯语 - 英语统计和神经机器翻译的影响

    本文系统比较了优秀的神经网络与基于统计学的机器翻译模型在不同华丽的预处理令牌方案下的阿拉伯语 - 英语翻译数据，并考虑对于这两种方法数据和词汇量的大小对性能的影响。实证结果显示，最佳的语言学基础令牌化方案的选择在于模型类型和数据规模的大小，并且使用神经网络与统计学的机器翻译输出的系统选择可以获得显著的性能提升。

    Jun, 2019

  • 文本分类中算法性能、词汇量和运行时间之间的关系探究

    我们提供了一项综合研究，研究了 10 种预处理技术如何影响词汇量大小、模型性能和模型运行时间等因素，发现一些组合技术可以在不降低正确率的情况下缩短运行时间，并且还有一些组合方法可以缩短运行时间同时提高模型准确性。

    Apr, 2021

  • 文档预处理对关键短语提取性能的影响

    本文以 SemEval-2010 数据集为基础，重新评估了几个关键词提取模型的性能，并测量它们对越来越复杂的文档预处理水平的鲁棒性。

    Oct, 2016

  • 文本卷积神经网络在自然语言处理和系统推荐之间的全面实现

    本文分析了深度学习在自然语言处理三个核心任务（文本表示、词序建模和知识表示）中的应用现状，探讨了在文本分类背景下自然语言处理所取得的改进和协同效应，同时考虑了文本生成、文本分类和语义解析中对抗技术所带来的挑战，通过对文本分类任务的经验研究，证明了交互式集成训练的有效性，特别是与 TextCNN 结合，凸显了这些进展对文本分类增强的重要性。

    Mar, 2024

  • 通过转移学习的自然语言处理研究：情感分析实证研究

    通过预训练的 BERT 模型实现传递学习来增加情感分类的准确性，虽然结果完全正确，但仍需要进一步研究来验证模型的泛化能力。

    Nov, 2023

  • 评估历史文本标准化系统的泛化能力

    本文简要讨论了历史文本规范化系统的评估问题，通过比较两个神经模型和一个基准系统，阐释了我们的评估方法，并得出结论，未来的工作应包括更严格的评估，包括可能的内在和外在度量。

    Apr, 2018

  • 探究文本分类器的工作

    通过使用一些新的文本分类方法，我们研究了模型是否真正学习了组合句子的意义，或者仅仅关注一些关键词或词典。我们的结果表明，许多模型仍然只是关注词汇和关键词，因此我们提出了新的正则化技术来防止这种过拟合，并在实验中得到了良好的结果。

    Jan, 2018

  • 关于预训练神经语言模型中偏见性的加强理解：一项调查，特别关注情感偏见

    本文针对大型预训练语言模型中的偏差问题进行调研，分析了偏差发生在模型的哪些阶段以及如何量化和减轻影响。尤其是针对情感相关的偏差问题进行了探讨，旨在提供未来研究的参考和挑战。

    Apr, 2022

  • 印地文文本分类的深度学习比较

    本研究旨在调查各种深度学习架构在印地语文本分类任务中的应用。本文使用了卷积神经网络（CNN）、长短时记忆网络（LSTM）、注意力机制等模型，比较了多语言预训练句子嵌入（BERT 和 LASER）和传统翻译方法的优劣，也为流行的文本分类技术提供了教程。

    Jan, 2020

  • 使用统一的文本到文本 Transformer 探索迁移学习的极限

    本文探讨了自然语言处理中的迁移学习技术，提出了一个统一的框架来解决所有基于文本的问题，比较了预训练目标、架构、数据集等因素对于各种语言理解任务的影响，并通过实验与新数据集达到了最先进的结果，并共享了数据集、预训练模型和代码，以促进未来的 NLP 迁移学习研究。

    Oct, 2019