编者按：近日，中山大学肿瘤防治中心超声科周建华教授团队在eBioMedicine在线发表题为“基于术前超声图像和穿刺组织病理图像的深度学习影像病理组学能够鉴别早期管腔型和非管腔型乳腺癌”的研究。该研究找到了鉴别早期管腔型和非管腔型乳腺癌的方法，为筛选早期乳腺癌新辅助治疗适宜人群提供了新的工具。

中山大学肿瘤防治中心周建华教授、罗容珍主任医师、复旦大学信息科学与工程学院余锦华教授为该论文共同通讯作者，中山大学肿瘤防治中心黄仪妮博士后、李玲玲博士后、毛茹霜博士和复旦大学信息科学与工程学院电子工程系姚钊博士为共同第一作者。

乳腺癌是女性最常见的恶性肿瘤，在2019年中国癌症报告中居女性癌症死亡的第五位。最新的美国国立综合癌症网络指南推荐对早期非管腔型包括HER2阳性型和三阴性型乳腺癌行新辅助治疗，以获取肿瘤对药物的反应和病理完全缓解状态。因此治疗前准确鉴别早期管腔型和非管腔型乳腺癌有助于治疗决策的选择。

目前穿刺活检组织免疫组化是治疗前获取乳腺癌激素受体表达情况的常用方法。然而，该方法仍存在一定的局限性，如受肿瘤异质性影响，穿刺活检免疫组化分子分型与手术后的免疫组化分子分型仅有中度的一致性，以往研究发现，雌激素受体的Kappa值（统计分析中Kappa值的意义是用来衡量两个变量一致性的指标）仅为0.52，孕激素受体的Kappa值仅为0.44；此外，免疫组化耗时、增加患者医疗费用，且免疫组化染色的样本质量会影响激素受体表达结果的评估。因此，临床上需要更准确简便用于治疗前鉴别早期管腔和非管腔型乳腺癌的方法。

超声检查广泛应用于乳腺癌的治疗前评估，既往有研究显示，基于灰阶超声构建深度学习模型能够鉴别管腔型和非管腔型乳腺癌，但效能仍不足以应用于临床；超声引导下乳腺穿刺活检是乳腺癌常规诊断流程，既往有研究提示术后标本的病理图片的形态学特征与乳腺癌分子信息相关。

基于此，中山大学肿瘤防治中心超声科周建华教授牵头开展多中心研究，并联合复旦大学信息科学与工程学院电子工程系余锦华教授团队，发现通过融合乳腺癌治疗前的超声图像特征和乳腺病灶穿刺活检的H&E染色的全切片病理图像（WSI）特征，构建深度学习超声影像病理组学能够有效鉴别早期管腔型和非管腔型乳腺癌，融合模型无论在内部验证集还是在外部测试集中均表现优异，在测试集中的AUC（AUC值表示曲线下面积，用于衡量分类器性能。AUC值越接近1，表示分类器性能越好；反之，AUC值越接近0，表示分类器性能越差）为0.900，显著优于单一模态深度学习的效能（深度学习超声影像组学的AUC为0.815；深度学习病理组学AUC为0.802）。

近年来，疾病诊疗日益趋向于应用多模态数据来解决错综复杂的临床问题，通过不同模态、不同尺度数据的整合，能够充分利用肿瘤在宏观、微观和分子层面的信息，以达到信息互补、优化诊断和提升预测效能的目的。然而，如何实现多模态的有效融合，并有效解决临床问题一直是医工交叉研究的难点。

本研究采集了多个中心共693位早期乳腺癌女性患者的多切面灰阶超声图像和H&E染色的全切片病理图像，采用在ImageNet上预训练的Resnet 18模型提取多切面灰阶超声图像特征，和基于注意力的多实例学习模型提取全切片病理图像特征。本研究特别设计了超声引导下的共注意力模块融合超声图像和全切片病理图像特征，构建了包含上述三个特征集的深度学习影像病理组学模型（deep learning radiopathomics，DLRP），即深度学习超声特征、深度学习全切片病理图像特征以及融合特征（见下图）。

深度学习影像病理组学鉴别早期管腔型和非管腔型乳腺癌模型示意图

该模型能够有效鉴别早期管腔型和非管腔型乳腺癌，AUC在内部验证集和外部测试集中分别为0.929和0.900，且在测试集中的效能显著优于基于单一模态深度学习的效能。本研究证明了通过整合乳腺癌宏观特征和微观特征能有效提高模型在鉴别早期管腔型和非管腔型乳腺癌的预测能力，深度学习影像病理组学为筛选早期乳腺癌新辅助治疗适宜人群提供了新的工具。