一、文章题目

MRI-based multimodal AI model enables prediction of recurrence risk and adjuvant therapy in breast cancer

基于 MRI 的多模态人工智能模型可预测乳腺癌的复发风险和辅助治疗

二、发表信息

2025-05 IF=10.5 《Pharmacological Research》（中科院一区Top）

单位：中山大学孙逸仙纪念医院姚和瑞团队

三、文章详解

01 研究背景

乳腺癌是全球女性面临的重大健康挑战，是女性中最常见的恶性肿瘤。乳腺癌患者确诊后的 5 年生存率在 40%-90% 之间，但一旦发生复发和转移，这一比例会降至 23% 以下。肿瘤具有复杂的异质性，使得准确预测乳腺癌患者的预后面临挑战，因此亟需新的肿瘤分割和术后预后评估方法。医学影像，尤其是磁共振成像（MRI），在癌症的无创早期检测和治疗决策指导中至关重要，能提供乳腺癌详细的形态和功能信息。人工智能（AI）在医学领域具有变革潜力，可通过整合算法与临床数据发现传统方法忽略的模式和关系。。

02 研究数据

回顾性招募来自中国 4 个独立机构的 1397 名非转移性乳腺癌患者，经质量控制后最终纳入 1199 名（2011-2019 年）。1199 名患者按 8:2 随机分配至训练集（987 名）和测试集（212 名）用于自动肿瘤分割。569 名来自中山大学孙逸仙纪念医院的患者按 3:1 随机分配至训练队列（456 名）和内部验证队列（113 名）用于 DFS 预测。外部测试队列 1（432 名，来自中山大学肿瘤防治中心）和外部测试队列 2（198 名，来自东莞东华医院和南方医科大学顺德医院）。

03 研究方法

磁共振图像质量增强与预处理：

输入数据为 MRI 的 T1 + C 和 T2WI 体积。进行图像配准，将两个体积对齐到具有固定像素间距（[0.6, 0.6, 3]）的一致坐标系。利用每个体积计算的均值和标准差进行强度归一化，以解决不同模态和扫描仪制造商带来的强度变化。

训练阶段采用多种增强技术：随机裁剪、随机强度缩放、随机对比度调整、随机直方图偏移、随机强度偏移，以及加入随机偏置场、随机运动模糊和随机鱼骨伪影，以增强模型鲁棒性和适应性。。

深度学习模型开发：

构建多任务网络（3D-MMR-Net 框架），实现基于术前 MRI 数据的肿瘤分割和 DFS 预测，整合多模态数据。

肿瘤分割：采用改良的 3D-UNet，具有编码器 - 解码器结构，包含 ResUnits、实例归一化和 PReLU 以减轻过拟合，使用 3D Slicer 手动标记原发性肿瘤 ROI。

DFS 预测：基于改良的 3D DenseNet121 架构开发 3D-MR-model，从提取的肿瘤 ROI 中预测基于 MRI 的 DFS 风险评分。

多模态模型（3D-MMR-model）：结合 3D-MR-model 风险评分与临床病理特征，采用具有 TabNet 结构的深度生存模型。

模型的可视化与解释：

使用梯度加权类激活映射（Grad-CAM）算法可视化影响网络输出的图像区域和特征。

对 73 份福尔马林固定石蜡包埋（FFPE）活检组织进行回顾性收集，利用 Student's t 检验和 limma 包识别高风险和低风险患者之间的差异表达基因和放射组学特征，通过基因集变异分析（GSVA）识别通路，使用 XCell 算法计算肿瘤免疫微环境（TIME）比例。

04 研究结果

多任务 3D 深度学习模型性能

肿瘤分割：训练数据集的平均交并比（IoU）和 Dice 相似系数（DSC）分别为 0.667 和 0.797，测试数据集分别为 0.602 和 0.752。

3D-MR-model 预测性能：在训练队列、内部验证队列、外部测试队列 1 和 2 中的 C 指数分别为 0.88、0.85、0.79 和 0.83，对 DFS 有较高的预测准确性。

3D-MMR-model 性能：结合临床病理特征后，在各队列中均能有效区分高风险和低风险组（均 P<0.001），4 年 DFS 预测的 AUC 值分别达到 0.98、0.89、0.89 和 0.94，C 指数为 0.96、0.91、0.89 和 0.90，优于单独的 3D-MR-model。

风险分层与临床意义

3D-MR-model 在调整淋巴血管浸润（LVI）、pTNM 分期、Ki-67 表达和 HER2 状态等变量后，仍是训练队列中 DFS 的独立预后因素。

3D-MMR-model 能对不同分子亚型（Luminal A、Luminal B、HER2 阳性、三阴性乳腺癌）和 TNM 分期的患者进行风险分层（均 P<0.001）。

DCA 显示，在所有队列中，3D-MMR-model 相较于 3D-MR-model、pTNM 分期、LVI 和 Ki-67 表达单独使用，在广泛的阈值概率范围内具有更高的净效益。

可视化与解释结果

Grad-CAM 可视化显示，浅层特征图主要展示肿瘤边界、形状和纹理等结构属性，深层特征图则包含高级语义特征和功能信息。

复发或转移患者在肿瘤附近或远处区域有集中热点，无复发或转移患者的热点集中在肿瘤区域。

高风险和低风险组之间存在 1198 个差异表达基因，高风险组中与趋化因子信号通路、细胞因子 - 细胞因子受体相互作用和 NK 细胞介导的细胞毒性相关的基因显著富集，且高风险患者中抗原呈递细胞增加。

05 研究讨论

本研究首次成功应用基于临床 MRI 多模态数据融合的 3D AI 模型，精准识别乳腺癌患者术后复发风险。3D-MMR-model 作为一种新型多任务 AI 模型，整合肿瘤分割和 DFS 预测，提升了预测准确性和风险分层能力，有助于临床医生制定治疗决策和随访计划。

该研究展示了先进计算技术在改善预后预测和个性化治疗规划方面的潜力，但仍存在依赖回顾性数据、需进一步验证模型普适性和增强 AI 模型可解释性等局限性。未来需进一步整合多模态数据和临床知识，开发基于 AI 的乳腺癌诊断系统，并探索大型语言模型（LLMs）在该领域的应用。

原文下载连接：https://doi.org/10.1016/j.phrs.2025.107765