西安电子科技大学学报

2021, v.48(03) 115-122+154

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

用于面瘫分级的自监督非对称特征学习方法
Self-supervised facial asymmetry learning for automatic evaluation of facial paralysis

孙豪杰;李苗钰;章盼盼;许鹏飞;

摘要(Abstract):

面瘫是一种以面部表情肌群运动功能障碍为主要特征的疾病。利用人工智能技术进行面瘫分级的辅助诊断不仅能够提高诊断的效率,且能够降低诊断结果受主观医疗经验的影响,提高诊断的准确性。而现有的基于计算机视觉的面瘫辅助诊断评估方法或模型主要存在以下3个问题:(1)从静态面部图像中提取的面部非对称特征难以准确表达面部运动的非对称特征;(2)浅层机器学习模型难以准确提取有效的面部特征信息;(3)深度神经网络模型难以从小规模面瘫视频数据中学习有效面部运动差异特征。为解决这些问题,提出一种用于面瘫分级评估的自监督面部非对称特征学习方法。该方法首先利用视频序列预测任务作为面瘫分级评估的上游任务,可充分地利用大量无标签数据对基于三维卷积神经网络的深度神经网络模型(C3D,R3D和R(2+1)D)进行预训练,提升模型对患者面部运动特征的学习能力;然后,将预训练后的模型迁移至面瘫分级评估的下游任务,提升面瘫分级评估的准确性。此外,由于面瘫分级评估主要依据患者整个面部和面部局部区域的运动非对称性,因此提出的模型结合了面部整体和局部区域的时序特征,并通过计算运动的非对称性程度来进行最终的面瘫分级评估。实验结果证明,该模型相对于目前现有的面瘫分级方法,在准确性、召回率和F1等指标上均有较大程度的提升。

关键词(KeyWords): 面瘫分级;自监督学习;辅助诊断;非对称性运动;深度学习

Abstract:

Keywords:

基金项目(Foundation): 国家自然科学基金面上项目(61973250,61876145,62073218)

作者(Author): 孙豪杰;李苗钰;章盼盼;许鹏飞;

Email:

DOI: 10.19665/j.issn1001-2400.2021.03.015

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享