肺腺癌通常经历从不典型腺瘤样增生、原位腺癌、微浸润性腺癌到浸润性腺癌的连续演变过程。不同浸润程度与患者的手术方案密切相关。然而，相邻病理类型在薄层CT上的影像表现高度重叠，尤其是处于中间状态的微浸润性腺癌，对术前准确分层具有较大挑战。传统影像学指标或单一CT模型难以同时充分表征结节的空间异质性和临床可解释征象，限制了相关智能模型的临床应用。
近日，中国科学院深圳先进技术研究院（以下简称“深圳先进院”）生物医学与健康工程研究所、医学成像科学与技术系统全国重点实验室张娜研究员等，联合中国医学科学院肿瘤医院深圳医院、东莞市人民医院、北京大学深圳医院等单位，开发并完成外部验证了一种融合三维CT图像与结构化影像语义特征的多模态深度学习模型，实现了对肺腺癌谱系结节的术前三分类。研究成果以"Multimodal deep learning for preoperative invasiveness stratification of lung adenocarcinoma spectrum nodules"为题，发表在国际数字医学领域学术期刊NPJ Digital Medicine（IF = 18.0）上。
研究团队纳入了来自3家医学中心的2726名患者和3069个经术后病理证实的肺腺癌谱系结节。该模型以标准化三维CT结节图像和结构化影像语义特征作为双模态输入：图像分支用于学习结节内部及周围的空间信息，语义特征分支则编码密度类型以及分叶、毛刺、空气支气管征、胸膜牵拉、血管集束等临床常用影像征象。模型进一步通过双向跨模态注意力和门控融合机制实现图像信息与语义信息的交互，并结合结节长径和实性成分比例对预测概率进行校准，从而形成兼顾影像表征能力和临床可解释性的术前分层结果。
进一步分析发现，模型对浸润性腺癌保持了较稳定的识别能力，而微浸润性腺癌仍是模型和医师共同面临的主要分类难点。
该研究将放射科医师日常使用的可解释影像征象与三维CT深度表征进行融合，为肺腺癌谱系结节的术前浸润风险评估提供了新的技术路径。研究结果表明，该模型的影像特征能与CT图像形成互补，可为放射科医师提供结节完成识别和定位后的临床决策支持。
深圳先进院生物医学与健康工程研究所、医学成像科学与技术系统全国重点实验室张鉷涛博士后为论文第一作者，东莞市人民医院薛婷住院医师和北京大学深圳医院张哲助理研究员为共同第一作者。张娜研究员、中国医学科学院肿瘤医院深圳医院刘礼健副主任医师和刘周副主任医师为论文共同通讯作者。该研究得到国家重点研发计划、国家自然科学基金、广东省基础与应用基础研究基金、深圳市科技计划及深圳市高水平医院建设专项等项目的支持。
研究总体流程及多模态模型框架
不同模型在内部及外部验证队列中的性能比较
多模态模型与不同资历医师在两个外部验证中心中的分类性能及一致性比较
附件下载：