北京师范大学舒妮教授和南京航空航天大学黄伟杰副研究员在Cell子刊Cell Reports Medicine上发表了一篇关于AI赋能多模态成像在神经精神疾病精准医疗的综述论文。
2.多模态神经影像技术结合人工智能方法可早期发现神经精神疾病并为其量身定制个性化治疗方案。
4.然而，多模态神经影像在精准医疗中的应用仍面临数据可用性、数据异质性和AI模型可解释性等挑战。
5.未来研究方向包括Transformer革命、动态监测网络和临床落地闭环等，以推动基于多模态神经影像的稳健人工智能模型的发展。
神经精神疾病具有复杂的病理机制、显著的临床异质性以及漫长的临床前期，这给早期诊断和精准干预策略的制定带来了挑战。
随着大规模多模态神经影像数据集的发展以及人工智能（AI）算法的进步，将多模态成像与 AI 技术相结合已成为早期发现神经精神疾病以及为其量身定制个性化治疗方案的关键途径。
在这篇综述中，作者概述了多模态神经影像技术、人工智能方法以及多模态数据融合策略，强调了基于神经影像数据的多模态人工智能在神经精神疾病精准医疗中的应用，并探讨了其在临床应用中的挑战、新兴解决方案以及未来的发展方向。
神经精神疾病，例如阿尔茨海默病、自闭症、抑郁症等，如同一幅PG电子官方平台入口复杂的拼图：症状多样、病因隐蔽，传统诊疗方法常陷入“看不清全貌”的困境。近年，科学家们找到了一把新钥匙——通过人工智能（AI）整合多模态神经影像技术，让精准医疗在神经疾病领域迈出革命性一步。
传统的单一脑部检查如同“盲人摸象”，而多模态影像技术能从结构、功能、分子三个维度全面解码大脑：
结构影像（例如 MRI）：高清呈现脑组织体积、皮层厚度，发现萎缩或异常增生；
功能影像（例如 fMRI、脑电图）：捕捉神经元活动信号，绘制“脑网络通信图”；
分子影像（例如 PET）：追踪淀粉样蛋白等病理标志物，提前 10-20 年预警阿尔茨海默病。
例如，自闭症儿童在 2 岁出现行为异常前，磁共振成像（MRI）已能检测到出生后的皮层过度生长，为早期干预争取黄金时间。
早期融合（直接拼接数据）、中期融合（分层提取特征）、晚期融合（综合决策），像智能拼图师般整合不同影像信息。
在 ADNI 等大型数据库中，多模态 AI 模型将阿尔茨海默病早期诊断准确率提升至 92.7%，比单模态提高 15% 以上。
结合磁共振成像（MRI）与正电子发射断层扫描（PET），区分阿尔茨海默病与路易体痴呆的准确率达 87%；融合脑电图与功能影像，对癫痫发作预测准确率超 98%。
通过脑结构与功能网络特征，AI 可预测抑郁症药物疗效（准确率89%），判断认知衰退速度，甚至估算“大年龄”评估疾病风险。
在 2000+ 例双相情感障碍患者中，AI 发现 3 种亚型，为个性化治疗指明方向。
神经影像数据在精准医疗中的多模态整合所固有的挑战大致可分为三类：数据可用性、数据异质性以及AI 模型的可解释性。
当考虑多模态神经影像学时，这三个挑战会显得更为突出。在 AI 应用于神经影像学方面，还存在三个广泛存在的挑战：类别不平衡、算法偏差和数据隐私。这六类挑战以及克服它们的潜在策略如下图所示。
近年来，人工智能领域见证了深度学习技术在多模态特征融合方面的广泛应用。基于深度学习的方法在跨各种应用集成多模态数据方面已显示出令人瞩目的成果。
1、Transformer 革命：类 ChatGPT 的跨模态模型，或将统一处理影像、基因、临床数据；
3、临床落地闭环：开发轻量化模型，让 AI 助手嵌入 MRI/PET 设备，快速PG电子官方平台入口内输出辅助报告。
总体而言，现有的研究对临床有效性和临床可用性的考量不足。未来的研究应当将这些临床概念结合起来，开发出能够真正应用于临床实践的人工智能模型。
在过去十年中，利用多模态神经影像的人工智能方法在推进神经精神疾病精准医疗方面取得了显著进展。研究一致表明，在各种诊断和预测任务中，结合多模态神经影像数据的人工智能模型优于单一模态的模型。尽管取得了这些进展，但要从研究过渡到临床应用仍需克服若干挑战。诸如人工智能系统的可解释性、算法偏差和数据隐私等关键问题仍未得到充分探索，需要进一步关注。此外，解决与数据可用性、数据异质性和类别不平衡相关的问题对于推进基于多模态神经影像的稳健人工智能模型的发展至关重要。尽管该领域仍在不断发展，但由多模态神经影像驱动的人工智能的潜力是毋庸置疑的。它作为神经精神疾病精准医疗未来的一个有前景的方向，为更高效、更精准和更普遍可及的疾病检测和治疗策略提供了前景。
