Feb, 2024

使用 Transformer 神经网络来定义智慧城市

PDF
TL;DR通过使用基于 Transformer 架构的生成式人工智能和语义文本分析技术，本研究从工业、学术界和相关组织中收集并回顾了 60 个智慧城市的定义，提出了一种语义相似度度量方法，并使用余弦相似度作为评估指标，最终确定了与这 60 个定义中最为相符的综合型智慧城市定义。
smart citydefinitionsemantic similarity measuregenerative aicosine similarity
发现论文，激发创造
  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 情境化的词义感知：从注意力到组合性

    使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。

    Dec, 2023

  • 转变为绿色语义通信：更少能量，更多语义

    语义通信是传输有意义和有效信息的目标，通过 “Energy-Optimized Semantic Loss”（EOSL）这种新型多目标损失函数，旨在解决平衡语义信息丢失和能量消耗的挑战，并通过基于 EOSL 的编码器模型选择在推理过程中实现了 90% 的能量节省和 44% 的语义相似性性能提升，为能源高效的神经网络选择和绿色的语义通信架构发展铺平了道路。

    Oct, 2023

  • 变压器辅助的语义通信

    通过使用 transformer 结构进行特征提取，以实现图像压缩和紧凑表示，从而优化语义通信的质量和带宽利用效率。

    May, 2024

  • 自适应语义标记选择用于 AI 原生目标导向通信

    我们提出了一种新颖的 AI 本地目标导向通信设计，利用变换器神经网络在带宽和计算的动态推理约束下。

    Apr, 2024

  • 提升 Transformer 架构在语义文本相似性方面的性能

    本文针对语义文本相似度的任务，采用 BERT、RoBERTa 和 DeBERTaV3 三种交叉编码器以二分类或回归的方式建模，调整了模型结构和手工特征的输入，旨在提高其准确性，其中就测试数据结果的讨论进行了误差分析。

    Jun, 2023

  • 使用视觉 Transformer 进行实时语义通信演示

    该论文提出了一种基于端到端深度神经网络结构的图像传输方法，利用现场可编程门阵列（FPGA）在实时无线信道上实现了原型测试，结果表明该系统在使用流行的 CIFAR-10 数据集时，比传统 256 正交幅度调制系统在低信噪比情况下表现更好。本文是第一篇使用视觉变换器实现和研究实时语义通信的工作。

    May, 2022

  • 关于语言模型在视觉概念语义相似度评估方面的可解释性研究

    这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

    Sep, 2022

  • 变形金刚，语境主义和异义性

    transformer architecture offers a novel perspective on the relationship between context and meaning, positioning itself within the contextualism and polysemy debates.

    Apr, 2024

  • 自适应半参数语言模型

    该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

    Feb, 2021