乳腺癌是一种危害女性健康的恶性疾病，早发现与早治疗是提高乳腺癌患者存活率最重要的手段之一。超声乳腺检查具有安全性、实效性和较高的性价比，适合乳腺常规普查。近几年不断发展的超声弹性成像技术，通过获取组织弹性信息进行成像，为乳腺肿瘤早期的检查提供了较为准确和有效的依据。
临床上，超声灰阶图像能反映出肿块形态、病变方向、病变界限及边缘等特征，但是诊断信息量单一，容易误诊漏诊。超声弹性成像技术能提供肿瘤组织弹性信息，从一定程度上能反映乳腺肿块的病变情况。
对此，中科院超声学实验室林伟军研究员课题组的王彤、苏畅等人提出了一种基于多模态融合的乳腺肿瘤超声图像智能诊断方法，结合乳腺肿瘤超声弹性特征与B型图像特征，利用卷积神经网络相关算法进行多模态融合的智能诊断研究。
相关研究成果在线发表于核心期刊 《中国医学影像技术杂志》 。
研究人员分别设计了基于B型图像与弹性比值的多模态融合模型与基于B型图像与弹性图像的多模态融合模型，利用灰阶图像的特征分别与弹性比值特征和图像特征进行结合来实现乳腺良恶性诊断，同时评估了融合弹性比值信息与融合弹性图像信息对乳腺分类性能的影响。
(a)基于B型图像与弹性图像的多模态融合模型
(b)基于B型图像与弹性图像的多模态融合模型
图1. 网络模型（图/中科院声学所）
多模态融合研究结果显示，无论是融合灰阶图像与弹性比值的模型，还是融合灰阶图像与弹性图像的模型，其分类表现均优于单独输入灰阶图像的结果，证明了多模态特征融合对乳腺超声诊断的价值。其中，基于灰阶图像与弹性图像的多模态融合模型的诊断准确率高达约93.51%。
本研究提出的基于深度学习的多模态特征融合的方法可提升超声诊断乳腺肿瘤的敏感度、特异度及准确率,为乳腺超声智能诊断提供新思路。
本研究得到了国家重点研发计划(2018YFC0114900)、中国科学院青年创新促进会项目(2019024)资助。
关键词：
超声智能诊断；弹性成像技术； 深度学习； 多模态
参考文献：
王彤,何萍,苏畅,崔立刚,林伟军,王心怡.计算机辅助多模态融合超声诊断乳腺良恶性肿瘤[J].中国医学影像技术, 2021, 37(08): 1210-1213. DOI: 10.13929/j.issn.1003-3289.2021.08.023
论文链接：