当前医疗行业面临劳动力短缺问题，AI 应用虽有潜力，但存在数据隐私、算法偏见等风险。研究人员开展医疗企业 AI 治理在风险缓解框架中作用的研究，提出强化治理框架的措施。这有助于保障 AI 安全、公平应用，推动医疗行业发展。
在医疗行业，一场看不见硝烟的 “战争” 正悄然打响。随着人们对健康需求的不断攀升，医疗资源紧张的问题愈发凸显，尤其是医护人员短缺，就像战场上兵力不足，让整个医疗体系面临巨大压力。比如，美国医院协会预计到 2033 年，医生短缺将高达 124,000 人，每年还得招募至少 200,000 名护士才能勉强跟上需求增长。在这样的困境下，人工智能（AI）如同一位 “救星” 出现在人们视野中，它能自动化处理行政事务、助力精准诊断、实现个性化医疗，仿佛给医疗体系注入了一针 “强心剂”。
可这 “救星” 也藏着不少隐患。AI 应用在医疗领域时，数据隐私泄露、算法存在偏见、模型缺乏可解释性，以及可能出现的 “幻觉” 等问题接踵而至，就像隐藏在暗处的 “敌人”，随时可能给患者安全带来威胁。在这种情况下，为了让 AI 更好地服务医疗，来自美国 ALIGNMT AI Inc 的 Andreea Bodnari 和 Healthcare Financial Management Association（HFMA）的 John Travis 等研究人员展开了深入研究。他们聚焦于治理框架在医疗组织 AI 应用中缓解风险和建立信任的作用，相关研究成果发表在《npj Digital Medicine》上。
这项研究并没有采用复PG电子网站杂的实验技术，主要是通过综合分析现有文献资料、梳理联邦和州的相关法规政策，以及参考行业内的专业经验来开展研究。研究人员从多个角度深入剖析 AI 在医疗领域的应用情况，从而得出相应结论。
AI 早已在医疗领域 “大展身手”，从早期基于专家规则的系统，到如今先进的生成式 AI 和机器学习工具，它们广泛应用于临床诊断、治疗规划、患者分流、预约安排等各个环节。例如，Mayo Clinic 与谷歌云合作利用生成式 AI 改善临床文档记录和患者沟通；Elevance Health 开发自己的生成式 AI 工具优化会员服务和理赔流程；Optum 利用大语言模型自动化处方审批和总结患者数据。但随着 AI 的广泛应用，治理的重要性也日益凸显。从医疗技术发展历程来看，像电子健康记录、医疗设备等技术的应用，都伴随着相应治理框架的出现，以保障患者安全和数据安全。如今，AI 治理同样成为医疗行业的关键任务，它涵盖从 AI 系统设计、开发到使用的全过程，旨在确保 AI 应用的安全性和可靠性。
在医疗 AI 应用中，数据质量问题犹如一颗 “定时炸弹”。AI 模型高度依赖训练数据，若数据存在缺陷，预测和建议就会出错。比如，基于儿科数据训练的 AI 系统用于更广泛患者群体时，容易导致误诊或不当治疗建议。算法偏见也是一大 “顽疾”，即使使用高质量数据训练，AI 系统仍可能因训练数据反映的系统性不平等而强化现有医疗差距。像风险评估工具可能因数据偏见高估特定种族群体患病概率，进而引发错误治疗决策。此外，复杂 AI 模型的可解释性差，就像一个 “黑匣子”，医生难以理解其决策过程，这严重阻碍了 AI 在医疗领域的推广应用。最后，AI 系统在医疗工作流程中的实施风险也不容小觑，若规划和监督不足，数据质量和可用性问题会影响其性能，还可能导致医生误用或过度依赖 AI 工具，危及患者护理质量。
为应对上述风险，研究人员提出强化现有治理框架的一系列措施。在确保 AI 适用性方面，治理框架应要求在采用 AI 解决方案前，对问题进行全面评估，明确 AI 的适用性，避免盲目投资。在数据治理上，医疗企业要完善数据治理政策，保证 AI 系统使用数据的质量，同时防范生成式 AI 带来的数据中毒风险。对于透明度和技术披露，企业应详细记录 AI 模型开发过程，并进行内部验证，还要成立跨职能治理委员会全程监督。在合规报告方面，集中整合合规报告能提高监督效率，确保企业合规运营。而在实施监督上，持续监测和部署后审计 AI 系统，制定使用协议防止过度依赖 AI，通过跟踪关键绩效指标（KPIs）及时发现模型问题，必要时进行人工审查。
生成式 AI 和大语言模型（LLMs）为医疗行业带来新机遇的同时，也带来了诸多风险，如事实不准确、社会偏见等。对此，研究人员提出了针对性的风险管理策略。红队测试是重要手段之一，通过模拟对抗环境，检测 AI 模型的潜在漏洞、偏差输出和不准确之处，确保其安全性和公平性。持续的伦理审查也必不可少，多学科利益相关者共同参与，形成反馈循环，保障 AI 应用符合医疗价值观和以患者为中心的理念。此外，自适应模型训练和微调能够根据新发现的风险和社会期望的变化，调整训练数据和算法设计，推动生成式 AI 朝着更公平的医疗成果方向发展。
研究表明，通过强化 AI 治理框架，医疗企业能够有效管理 AI 技术带来的风险，为安全、有效、符合伦理的 AI 应用奠定基础。这不仅能提升患者护理质量，还将推动医疗行业的创新发展，重塑医疗行业的未来。同时，研究人员强调 AI 治理委员会应在 AI 应用审查和监测中发挥核心作用，确保 AI 系统符合安全、有效和伦理标准。这项研究为医疗领域 AI 的合理应用提供了重要的理论和实践指导，让 AI 这把 “双刃剑” 在医疗战场上成为真正的 “利器”，而非 “凶器”，助力医疗行业在数字化时代实现更好的发展，为全球患者带来更优质的医疗服务。
