专业咨询
致力推进中国医疗卫生信息化

上海这家医院试验表明:NLP可提高临床科研数据采集效率

来源:HIT专家网     供稿:森亿智能

医疗数据的提取与转换,一直是制约医疗大数据利用的核心问题。随着人工智能技术的发展,近年来有不少医院开始尝试基于NLP(自然语言处理技术)的科研平台,用以解决医疗数据向科研数据转换的问题。经调研,医院往往更关注数据提取的准确率。

基于此背景,近期,森亿智能联合上海儿童医学中心(国家儿童医学中心主体建设单位之一),用试验证实了在科研数据收集方面,“人工智能(AI)+医生”的确要强于传统的医生人工提取数据的方式。利用严谨的RCT研究方法,让AI协助更高效地开展临床科研。

如今,他们将这一研究成果发表在了国际医学信息学专业SCI期刊JMIR Medical Informatics(2019, 7(3): e13331,影响因子:3.188)上(下载论文原文,请点击这里)。

NLP的价值:更高效的临床科研数据采集方式

利用自然语言处理信息抽取系统提高临床研究数据录入效率:现场定量研究》,从论文的题目便能看出,自然语言处理(NLP)是本试验中的主角。

根据ClinicalTrials.gov的统计,近年来,临床研究的数量在世界范围内呈指数增长。临床医生和研究人员使用干预性研究或观察性研究,以确定治疗或干预的有效性。随着医生使用来自电子病历(EMR)的观察性研究需求日益增加,临床数据收集、管理效率和质量面临严峻的挑战。

过去,医师在审阅病历后用手工填写纸质报告表格的方式输入数据。随着医疗信息技术的发展,电子数据采集(EDC)系统的应用加速了数据收集过程。EDC不仅能在一定程度上确保数据质量,还能实现实时数据输入、审核、分析和验证。受EDC系统的影响,CRF(临床试验数据收集表)也逐渐从纸质转变为电子形式(eCRF),这无疑比传统纸笔纸质录入方法实现了更高的效率和准确性。

然而,EDC和eCRF都没有改变数据收集的方式。对研究人员而言,仍需手动录入来自EMR的数据。录入过程所耗费的时间,成为临床研究最大的效率瓶颈。

是否有更高效的方式呢?

自然语言处理(NLP)技术的的发展,为医生更好地使用非结构化EMR数据提供了新的技术途径。经过几年的发展,医疗界逐渐认可了使用NLP技术从临床文本中获取价值信息,用于定位符合准入标准的患者,或进行大规模的数据抽取和分析。不过,关于NLP在临床科研当中的实用价值的成果,公开渠道仍然鲜见。

试验过程:用人工和AI做收集数据的比对

本次研究邀请专业的临床研究方法学专家参与设计,并且邀请到了医学信息学领域的国际知名权威专家参与前期设计。采用随机对照双盲临床试验,招募了24名具有临床医学背景的研究人员作为志愿者参与研究。

随机对照双盲临床试验

作为试验的技术支持方,医疗AI公司森亿智能还特意为志愿者开发了一款基于i2b2标准的信息提取系统(NLP-MIES)。它不仅能实现医疗概念提取、确定性分类和关联抽取,还可以解读病历记录和影像诊断报告,找到相关医疗概念,并自动预填充变量值。

信息提取系统(NLP-MIES)工作流程

为了进一步比较人工数据录入和NLP技术支持的数据录入之间的效率和准确性,森亿智能还开发了模拟eCRF应用,让用户能够查看关联医疗文本,以修改和验证NLP-MIES预先填充的数据,并且客观记录数据抽提的时间。

为了确保试验有金标准可依,参与设计eCRF的三位临床研究人员联合标注了120个外科和内科代表性的病例作为测试对象。将测试者随机分为两组,两组研究人员使用eCRF应用从医学文本中提取变量并填入表格(没有NLP-MIES支持),系统会自动记录每个数据录入的值和花费时间。

在实验开始之前,对所有志愿者进行了统一的培训,以确保他们都会使用NLP-MIES和eCRF应用进行数据录入。在签署书面知情同意书之后,志愿者被随机分配到人工组和NLP-MIES支持的小组中

  1. 人工组:参与者观察eCRF中需要填写的变量,在医疗文本中寻找相关信息,然后在eCRF表格中点击或输入相应的值。
  2. NLP-MIES支持的小组:NLP-MIES将秒级预填好eCRF中的变量。参与者核查需要填写的变量,在医疗文本中的寻找相关信息,并对预填充的值进行相应的验证或更正。

每位志愿者都配备一台笔记本电脑,并要求在规定的时间内完成所有的数据录入。未能在规定时间完成的参与者,将被排除在数据分析之外。

基于这些设计,试验模拟了一个真实世界eCRF的填写过程,旨在定量评估NLP技术究竟能否提高科研数据收集的效率。试验结果如下表格所示:

表1.电子病例报告表数据录入的平均准确度

表2.电子病例报告表数据录入的平均消耗时间

结果显示,一名医生人工完整录入一份病例,平均需要73.28-103.79秒,AI结合人工则仅需49.42-69.73秒;并且,医生人工录入数据的准确性是84.21-90.42%, AI的准确性是84.15-92.77%,AI结合医生人工校验则是92.19-97.17%。相对于人工组,AI组先心病和肺炎病例数据录入的准确性分别提升了15%和18%,消耗时间减少了31%和33%。结果表明:医生用AI收集数据,更快速、更准确。

应用场景不止于科研,将来有望深入临床辅助决策

对于本次试验,作为论文通讯作者的上海儿童医学中心生物样本库主任刘世建表示:“我们的试验是科学、严谨、客观的,和那些作秀性质的比赛有着本质区别。研究目的,是想证明AI能帮助临床医生快速、准确地提取数据。”

据刘主任介绍,NLP的应用不止于科研,因为把数据抓取出来只是第一步,医生更看重临床数据的利用。例如国家卫健委电子病历系统应用水平分级评价标准中基于AI的临床辅助决策系统(CDSS),具有很好的应用前景。这类系统今后可以辅助临床医生进行临床决策,帮助医院规范临床路径,应用前景广泛。

他表示,很多临床医生都有开展临床科研的需求,无奈临床事务繁忙,无暇花费大量时间查找相关的临床数据。现在有了AI帮忙,为临床医生开展临床研究提供了良好的基础,不过其中不少人对AI系统缺乏感知。特别是一些年资较浅的医生,他们有想法,愿意尝试新技术,企业应该在产品的功能演示方面做得更直观一些,让这些医生了解科研、临床产品,这样才有机会让更多的医生受益。

国家卫健委统计信息中心发布的《全民健康信息化调查报告——区域卫生信息化与医院信息化2019》显示,目前我国三级医院利用大数据技术开展临床病例及其他医院数据全文检索的比例为29.7%,二级医院仅为10.2%。可见,医学AI尚待拓展的空间巨大。

让AI更贴近临床、更接地气,才能与医生形成默契,必将成为下一阶段医疗AI发力的方向。

【名词释义】

i2b2是一个开源临床数据仓库和分析研究平台,在全球250多个地方使用。i2b2支持医疗保健和研究中的异质数据的共享,集成,标准化和分析。(详情可访问:https://community.i2b2.org/wiki/

小助手二维码

想加入HIT专家网专业交流群吗?请添加“HIT专家网”小助手微信好友

(请务必注明姓名、单位名称、职务、主管技术或产品领域等实名信息)

【责任编辑:孙鹏】

赞(11)

评论 抢沙发

评论前必须登录!

 


未经允许不得转载:HIT专家网 » 上海这家医院试验表明:NLP可提高临床科研数据采集效率
分享到: 更多 (0)