专业咨询
致力推进中国医疗卫生信息化

信息系统“中断”50分钟:北京友谊医院中秋前夜实战上演应急“大片”

来源:HIT专家网     作者:北京友谊医院信息中心 张旭 王力华

2019年国家层面大事多喜事多,但是对于位于首都核心区的医疗机构来说,其公共卫生服务保障任务的压力巨大,同时对医院信息系统的安全性也是非常严峻的考验。一所医院的信息系统无论建设得多么完善、健壮,都可能会有“掉链子”的时候,此时的信息系统故障应急处置将是最为重要的措施,不仅体现医院的信息化水平,更体现医院的管理水平,必定是对一所医院能力的全面“大考”。

2019年9月12日晚,中秋节前夜,北京友谊医院开展了一次全院范围的信息系统故障应急实战演练,在西城和通州两个院区同步进行。本文简要记录了此次演练的过程,期望能给大家呈现一部医院信息系统实战演练的“大片”,引发医院信息同行的交流和共鸣。

一、“制片人”:应急实战演练的物质和精神支柱

医院领导高度重视此次应急实战演练,由医院办公会批准授权执行。按照之前确定的信息化应急领导小组,由医院党、政一把手任组长,信息化主管副院长任常务副组长,各副院长任副组长,组员是各职能管理部门主任。

二、“导演组”:由医院信息化负责人担任

应急实战演练的“总导演”由信息化主管院长担任,负责统筹医院各相关部门的高度配合,组织开展相关会议,并将演练的执行进度汇报给应急领导小组。信息中心主任为“执行导演”,负责执行上级指令、演练技术方案设计、行动指挥、时间线把控、突发事项处置决策、演练进度上报等,在演练中统筹管理信息中心各岗位工作。

三、“角色”:任务清晰,各司其职

应急实战演练并不是“纸上谈兵”、“案上比划”,与真实故障应急处置唯一不同之处就是“有计划、有准备”。信息系统应急演练绝不是医院信息中心一个部门的工作,涉及医院每个职能部门、业务部门的高效联动。在前期筹备阶段,医院各职能部门、相关临床医技部门召开了两次准备会议,由信息化主管院长召集,各部门负责人和业务骨干参加,会上明确各部门工作分工,交流讨论演练期间可能遇到的各种问题以及处置方法,强调部门间的协作。

应急实战演练多部门准备会

信息中心作为此次演练的技术部门,负责技术准备和技术操作,制定应急演练技术方案,并自主研发了新版本应急单机版程序,对收费环节的功能做了较大改进,在辅助医生开医嘱的同时,生成并打印收费二维码凭单,收费员扫码即可一键完成结算,大幅加快了应急期间的诊疗效率。

程序打印的收费二维码凭单

应急演练技术团队由信息中心和系统厂商人员组成,按工作任务划分为链路切换、主备机切换、应急程序保障三个工作组,以西城院区(HIS主服务器的所在院区)为主,两院区人员均衡配置。

四、“剧本”:内容详细,操作明确

“剧本”即演练技术方案,描述演练“剧情”的发展脉络和角色的动作编排。结合我院多院区的性质、业务流程的特点和信息系统的现状,信息中心对演练内容和形式进行了多轮技术性研究和可行性推演,确定进行HIS主备服务器切换、院区间光纤链路切换和应急程序实操等三个项目。

我们对每个演练内容编制了详细的演练操作方案,包含前期准备、演练操作、回退方法、问题与解决方法、桌面消息发布等的操作步骤,每一步骤描述精确到院区、设备、端口、命令代码、推送消息文本内容等,在演练过程中技术操作人员只需要按顺序执行方案即可完成任务,避免因代码和文本编写、解决方案思考推敲而耽误宝贵时间,降低误操作的风险。

为了便于对整体演练过程的统筹,我们对演练技术方案内容进行概括,以时间为主线编制了任务清单,突出各任务名称、时间节点、人员分工、任务间关系等要素,为各操作人员提供流程性指导。

五、“表演”:上下一心,执行有序,时间管控

1. 演练前3小时

参与演练的信息中心全体人员,利用远程医疗系统进行两院区协同桌面推演,强化演练操作步骤。

两院区协同桌面推演(左西城,右通州)

2.演练即将开始

在演练前我们选取三个时间点,利用桌面管理系统向医院所有工作站电脑推送演练预警通知,提醒医务人员做好各项准备,在演练开始前务必保存诊疗信息、结束HIS系统操作。

演练预警桌面通知

在演练前半小时,开始对HIS主机集群状态和节点信息进行检查。与此同时,应急程序保障组人员开始核查各诊区的应急程序安装情况,提醒医生、收费员做预备,通报各诊区HIS使用情况。

在演练前5分钟,开始进行网络测试,两院区采取持续PING对端靶服务器的方式监测网络连通状态,对演练涉及的网络设备配置文件做备份,同时,停止自助机、移动互联网应用服务。

3.演练正式开始!

9月12日22点,HIS服务器切换演练、院区间光纤链路切换演练、应急程序使用演练同时启动。

(1)HIS主备服务器切换

主备机切换工作组执行演练操作,正常关闭所有HIS系统ECP服务,确保ECP缓存中的业务数据完全同步到主数据库。西城院区人员手动拔除高可用集群主节点网线,同步查看切换日志,验证确认了资源组已正常漂移至备用节点,立即在此节点下测试HIS可用性,正常可用后开始逆向操作。随后,恢复主节点网络,恢复高可用集群,拔除备用节点网线,同步查看切换日志,验证主节点已接管业务,立即在此节点下测试HIS可用性,正常可用后恢复备用节点,检查HIS主机集群已恢复正常状态,启动HIS系统ECP服务,各业务系统验证成功,HIS服务器切换演练顺利完成。

HIS主备服务器切换演练现场

(2)院区间光纤链路切换演练

链路切换工作组执行演练操作,西城院区人员通过命令关闭西城内网核心交换机到通州主链路端口,触发院间主网络断链故障。此时网络连接测试结果未达到预期,网络不通,检查路由浮动情况后发现备用链路一台交换机配置有问题,不做处理,立即回退,网络恢复,院区间光纤链路切换演练终止。

(3)应急程序使用演练

应急程序保障工作组的人员分布在两个院区各急诊科室现场,在切换期间对应急程序使用做指导,反馈现场情况,同时负责业务系统的验证和系统可用反馈。演练期间,应急程序共完成9位患者多笔收费和挂号业务。

HIS业务恢复后,立即利用桌面管理系统向医院所有工作站电脑推送演练完成、系统恢复的通知。

整体演练时长短于预期,用时50分钟,期间各诊区均有患者就诊,未因应急演练而造成大的拥堵和排队,就诊环境井然有序。

医生使用应急程序录医嘱打单据
收费员使用应急程序扫码收费

六、“影评”:对演练的经验总结

我们这次信息系统应急演练总体是成功的,但也有一些遗憾,为下次演练或实战积累了宝贵的实践经验。总结了几点心得体会与大家分享:

  • 显而易见:信息系统应急演练不同于其他医疗演练,只有在真实环境下的历练才能有真正意义;
  • 记忆深刻:在此次应急演练准备会上,多部门均拿出了自己专业内较有实操性的应急方案,并对半年前演练中的经验如数家珍,因此保证一定频率的演练能够加深用户的记忆,减少对信息系统故障的恐惧;
  • 一丝不苟:为减少对临床诊疗工作的影响,我们特意把演练时间窗设定在夜间,直接参与者不多,然而在整个准备过程中,全体人员都相当认真,反复熟悉应急预案,充足准备应急用品,开展应急培训,把演练当真练,达到了一定的普及性演练效果;
  • 迭代改进:上一次HIS主备切换演练中,没有达到自动切换的效果,之后我们修复了系统缺陷,通过这次的演练得以验证,所以,演练推动了信息系统的逐渐健壮。
  • 收获满满:通过演练我们能够熟悉流程、发现问题、克服困难。只有经历多次演练、多次实操的磨炼,蓄积经验,才能在真正遇到故障时从容应对,泰然处之;
  • 仍有遗憾:在演练中会有很多问题暴露出来,演练后我们都会及时总结和复盘经验与教训,修补系统缺憾,优化程序不足,力求将演练的效益达到极致。
  • 衷心感谢:信息系统应急演练虽然主要是技术工作,但需要全院的支持和配合。信息中心团队都十分珍惜这次难得而短暂的演练时间,也特别感谢院领导和各部门的全力支持。

夜深了,中秋的凌晨,不但没有月亮,反而下起了雨,参加演练的人员逐渐离开了,但仍有一些人员仍然在查找问题……

小助手二维码

想加入HIT专家网专业交流群吗?请添加“HIT专家网”小助手微信好友

(请务必注明姓名、单位名称、职务、主管技术或产品领域等实名信息)

【责任编辑:孙鹏】

赞(31)

评论 1

评论前必须登录!

 

  1. #1

    放假好练兵!向医务人员、更要向信息人员致敬。

    hit20121个月前 (09-15)
未经允许不得转载:HIT专家网 » 信息系统“中断”50分钟:北京友谊医院中秋前夜实战上演应急“大片”
分享到: 更多 (0)
-->