Mar, 2022

通过端到端上下文感知聚类为开放式响应调查提供洞察

PDF
TL;DR本研究提出了一种新颖的端到端的上下文感知框架，该框架可提取、聚合和缩略嵌入式语义模式的开放响应调查数据，在识别度上优于传统的基于关键词的方法。利用预训练的自然语言模型对文本数据进行编码，将其转化为语义向量，并通过聚类的方式将向量划分到若干组并提取关键词或总结句，为每一组提供上下文感知的词云，并遵守用户隐私的设计。该方案可应用于移动设备的实时分析，减轻了对来自调查数据的信息提取成本。
survey analysistextual responsessemantic patternsnatural language modelcontext-aware
发现论文，激发创造
  • 上下文化注意力嵌入的主题

    通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。

    Jan, 2023

  • 一种改进的基于短语的学生课程反馈注释和摘要方法

    本研究旨在探索一种新的方法从大量的学生反馈中提取摘要短语，通过基于短语的注释和突出显示方案，将其汇总成一组要点，以及用一种新的度量标准衡量这些短语是否满足学生的最迫切需求。

    May, 2018

  • 安娜・卡列尼娜再次出击：预训练 LLM 嵌入可能偏好高绩效学习者

    使用预训练的 LLM 嵌入将学生对开放性问题的回答无监督地聚类为行为和认知特征集合是一种新兴技术，研究者对它们如何捕捉教学上有意义的信息知之甚少。本研究通过对生物学中学生对开放性问题的回答进行分析和聚类，发现纯数据驱动的聚类技术发现的大多数 Knowledge Profiles (KPs) 的可发现性较差，除了包含正确答案的 KP。我们将这种 “可发现性偏差” 追溯到预训练 LLM 嵌入空间中 KP 的表征。

    Jun, 2024

  • 复杂问答：无监督学习方法和实验

    本研究探讨了一种基于多篇文献的主题导向信息压缩技术，采用实证方法和两种无监督机器学习技术，比较它们的效果，同时通过提取不同的词汇特征和局部搜索技术，学习各种特征的权重值，最终实现了基于查询的自动摘要产生。

    Jan, 2014

  • 连接人文社科：应用语言与语音技术于在线问卷调查

    本文研究如何运用语音和语言技术处理荷兰面板调查中的开放性问题，使用自动语音识别处理口头回答并使用 transformer 模型进行情感分析和主题模型分析。

    Feb, 2023

  • 使用上下文化的单词表示聚类进行主题建模

    通过聚类基于 token 的上下文化词表示，可以更自然地捕捉多义性，并用作组织文档的方法，此方法与 LDA 主题模型效果相近且表现出更高的主题质量，尤其是对于 BERT 和 GPT-2 输出层训练的 token 聚类。

    Oct, 2020

  • 上下文词嵌入的逐步语义权重训练

    本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

    Nov, 2019

  • 利用上下文感知记忆网络进行文本辅助洞察排名

    本研究提出了一个建立在神经和记忆网络上的见解重要性排序模型，同时构建了一个文本辅助数据集。实验结果表明，我们的方法在多个评估指标中大大提高了排序精度。

    Nov, 2018

  • 从自然出现的商业对话中提取相似问题

    我们使用经过适当调整的表示方法和少量示例来对商业用户感兴趣的问题进行分组，并制作可用于数据探索或员工培训的可视化。

    Jun, 2022

  • 基于话语和上下文嵌入的检索式对话系统

    本文利用局部敏感哈希树 LSH Forest 实现了基于向量表示的答案检索，并探讨了使用候选项选择方法时，这种方法的优越性。在 Ubuntu 语料库和荷兰的客户服务聊天数据集上进行的实验结果表明，检索式方法优于生成式方法，并揭示了未来研究方向。

    Oct, 2017