《浙江省医疗卫生信息安全管理案例集》选登（4）：存储控制器单点故障导致网络瘫痪

来源：HIT专家网    案例提供人：温州医科大学附属第一医院   郑成城

编者按：由浙江省卫生信息中心主任、浙江省卫生信息学会秘书长倪荣同志主编的《浙江省医疗卫生信息安全管理案例集》，汇集了来自全省医疗卫生信息化工作者们的实战心得，内容紧贴医疗卫生信息安全、系统运行维护的常见问题，具有很高的实用价值。相信对于医疗卫生信息化工作者、IT企业工程实施和运维服务人员而言，都是一本极其解渴的实用好书。

正是意识到这本书的巨大价值，HIT专家网作为行业信息服务平台，十分热切地期望向同行及时推荐分享这本书。经过与浙江省卫生信息学会接洽，HIT专家网受权开辟专栏以连载形式转载该书收纳的163个案例当中的10余个供读者品尝，同时欢迎有兴趣的读者踊跃订购，也可直接通过微店购书（http://weidian.com/i/1667178330?wfr=c）。 

【案例描述】

某日，陆续接到报修电话，门诊、住院、医技区域均出现无法上网现象，但行政区域外网办公网络却正常。由于出现大面积的网络瘫痪，初步判断，问题出现在核心机房区；医院内网瘫痪的同时，医院外网却无任何故障，再次分析，故障应该出现在内网DHCP服务器上，导致医院内网接入用户无法获取正确的IP地址。当时的内网DHCP服务部署在VMware虚拟机上，与之相连的存储设备出现硬件故障，因此导致医院内网大面积瘫痪。

经过以上的判断分析，立即启用内网DHCP冷备服务器，把故障的时间缩短到10分钟内，医院内网业务恢复正常。

【原因分析】

虚拟机服务器所接的存储设备是某品牌的SATA盘柜，与FC盘柜共用一个控制器，分别部署在三楼机房和地下室机房。FC盘柜可以实现异地双控，但SATA盘柜无法实现异地双控，所以当时虚拟机服务器所在的地下室存储控制器出现硬件故障（后来检查确定为控制器板卡坏了），三楼机房的控制器接管地下室的FC盘柜，但是无法接管地下室的SATA盘柜，因此造成了地下室STAT盘柜上的业务无法正常工作。

【解决方案】

初步解决方案：启用内网冷备DHCP服务器，解决用户无法获取IP地址的问题。收集autosupport、message日志，发给厂家查看，当天便更换控制器板卡，解决控制器故障的问题。

进一步的解决方案：购置新的存储控制器，把三楼SATA盘柜迁移到地下室，共用存储控制器，实现双控，解决控制器单控故障问题。

【总结建议】

1、目前，该品牌的SATA存储盘柜，无法实现异地双控功能，建议不要分布式部署。

2、虚拟机上的内网业务，虽然能避免服务器单点故障的发生，但还是需要在其他服务器上做备份，减少因虚拟机及其相关配件故障带来负面的影响。

3、在部署存储设备时已知道SATA盘柜是无法实现异地双控的，购买SATA盘柜专用的控制器的申请已经提交但是设备还没到货，想当然认为存储设备是刚买的短时间不会出现故障，结果出现了这次事件。因此存储是整个医院的核心设备，该投入的还是必须投入的，不能抱侥幸心理。

 

医院信息部门一线人员必读书籍。如果您感兴趣更多类似案例的实操解决之道，欢迎订阅！详情请点击：实战力作 欢迎订阅《浙江省医疗卫生信息安全管理案例集》或者通过微店购书（http://weidian.com/i/1667178330?wfr=c）。

【责任编辑：石晨露】