KDDJun, 2021
利用自监督学习和注意力机制改进通过唇图像重建的超声舌图像
Improving Ultrasound Tongue Image Reconstruction from Lip Images Using Self-supervised Learning and Attention Mechanism
Haiyang Liu, Jihan Zhang
TL;DR本文探讨了如何通过可观察的唇部图像序列,预测相应的舌头运动,使用自监督学习,卷积网络和长短时记忆网络模型,并通过预测未来的超声波舌头图像序列来评估模型性能,结果表明我们的模型能够生成接近真实超声波舌头图像,并将图像模态之间的匹配提高了。