对话国际权威: 从Dr.Sten Westgard在线直播专题讲座话PBRTQC国内外进展与不 同观点

作者:温冬梅 王学锋 李贵霞 龚倩 陆怡德 王剑颷 徐黎明 黄珊 陈丹虹 黄子健
2021-12-16

温冬梅,获评广东省第二批杰出青年医学人才,上海森栩医学科技有限公司首席产品官CPO、高级专家,领衔原创设计的森栩医学RIMS、AI-MA、LIVS、AI-ICO、AIpha Lab等全实验室和医联体智能应用产品符合国际准则要求,入选中国医学装备协会人工智能联盟“人工智能产品”(第二批),AI-MA、LIVS、Alpha Lab等产品填补国内检验领域空白,处于国际领先水平,产品的创新性、专业性、前沿性及实用性备受同行好评。担任中国中西医结合学会检验分会信息智能化专家委员会副主任委员、中国老年医学学会检验医学分会常务委员、中国医药教育协会健康管理专业委员会常务委员、中国医学装备协会检验医学分会实验室智能化学组副组长等。《临床检验杂志》青年编委,《检验医学》杂志特约审稿人;获国家发明专利授权6项,获软件著作权4项,主编参编专著9部,参编全国高等院校本科教材1部,发表SCI、中华等核心论文40余篇,参加美国AACC大会壁报展示交流论文5篇;主持广东省等各级课题8项,获市科技进步奖5项。


国际临床化学和检验医学联合会(IFCC)下设的分析质量委员会于2020年发表的指导文件指出基于患者数据的实时质量控制(patient based real time quality control,PBRTQC)是一种使用患者临床标本检测结果以实时、连续监测检测过程分析性能的质量控制方法,包括AON法(Average of nomals,AON)、BULL法、移动中位数法(Moving Median,movMed)、移动均值法(Moving average,MA)和指数加权移动均值法(Exponentially Weighted Moving Average,EWMA)等多种运算技术,与传统的质控品质量控制方法相比具有较多优势,是基于患者风险的质控策略及质控品室内质量控制方法的有效补充方法。

近期有幸在直播线上聆听到国际著名大咖、质控专家Sten Westgard教授有关“患者移动均值的应用及发展”的专题讲座,学习收获的同时,有一点点不同看法、感想与同行分享,同时,对PBRTQC研究进展、运算类型、临床应用价值、EWMA法与MA法比较分析、PBRTQC国内外研究进展等内容进行共同学习和交流,以促进PBRTQC在国内临床实验室的的认知、接受、借鉴和广泛应用。

一、PBRTQC研究进展及运算类型

患者数据质量控制法早于1965年由Hoffman和Waid提出,是利用临床实验室患者群体均值或者“正态均值”算法的质量控制程序(AoN法),AON法的技术原理是每日选取正常范围内近似正态分布的患者检测结果计算平均值,用于监测分析过程的稳定性,AON技术的局限性在于每天工作完成标本检测后进行,不能实时监控性能变化。随后发展了BULL法、MA法、EWMA法、movMed法、移动百分位数法(moving Percentile)、移动离群值法(movSO)与移动标准差法(movSD)等多种算法,每一种运算方法都有其特征及优点。BULL法主要应用于临床血液学红细胞平均体积(MCV)、红细胞平均血红蛋白量(MCH)及红细胞平均血红蛋白浓度(MCHC)的质量控制,这三个项目不同人群个体间变异很小,浓度相对稳定,不受血液稀释、浓缩、病理性或技术性等因素而有明显增减,根据此特性进行批量患者结果均值计算的方法进行质量控制;Cembrowski和Westgard通过计算机模拟和验证了该算法,该算法使离群点的影响最小化,但该算法需要完成批检测处理后才能生成新的MA值,会延迟系统误差的识别;MA法在检验医学除血细胞领域以外的其他专业领域未广泛应用,主要原因是缺乏一种支持MA优化的方法;movMed法对于非正态分布的检测结果和具有极端或者异常值的结果效果更好;EWMA法引入了加权系数(λ),用于确定相对于先前的测试结果,每个新的测试结果分配多少权重,为每一个新的测试结果计算一个新的MA值,以实现最佳和快速的偏倚检测,代表更真实和连续的移动平均值,由Robertssv在1959年首次提出,该技术基于Cembrowski等在1975年提出的监控趋势变化的Trigg’S方法,EWMA控制图的优势是检验分析过程不正确度或不精密度中的微小变异。PBRTQC各种运算方法对检测系统分析性能变化灵敏识别的关键是算法中变量的选取,如BULL法、MA法及movMed法等算法的变量为批检测结果计算平均值的数量,EWMA法的变量为λ,例如BULL法通常选择分析批20个结果进行计算均值,一般来说,使用低权重系数可以检测到较小的系统误差变化。

二、PBRTQC临床应用价值

质控品室内质控方法是国内外临床实验室常规应用的评价检测系统不精密度和正确度改变的重要手段,但存在一定的局限性,质控品通常在预定时间进行测试,源于试剂、校准品、检测系统、人员、环境、水质等质量误差只能在下次的质控品测量中出现失控报警方可发现;患者数据质量控制法早于半个世纪前提出,Westgard于2003年提出了临床实验室应形成“最低成本、最大化效益的多阶段全面质量控制策略(TQC),包括高误差检出概率(Ped)、低假失控概率(Pfr)的质控品质控方案及基于患者数据持续监测分析系统状态的质控方案”,随着基于患者风险临床实验室室内质量控制技术的发展、统计方法的成熟及信息技术能力的提高,患者数据质量控制技术受到的关注度及研究日益增多,国内外研究报道证实使用患者数据质量控制方法无基质效应问题、可持续监测分析系统的分析性能稳定性、可评估临床检验项目可比性、与开机质控品QC法联合使用可监测开机时和分析过程的试剂、仪器和校准等的误差情况、可监控如标本收集、运输及处理等环节不当导致的分析前误差等、在误差检出能力与质控频率两方面弥补质控品QC的不足、降低了昂贵的QC材料和质控活动的成本。

三、Sten Westgard教授讲座内容简介

Sten Westgard教授重点围绕患者数据质控法的BULL法、MA法、加权平均法和EWMA法等4种类型的优缺点和特征进行比较、MA法的发展、国外实验室应用现状、MA法建立及失控的处理流程等方面进行阐述。其中,Sten Westgard教授在课上提到:“MA法是研究发展相对成熟、计算简单的传统方法,而EWMA法要求额外的软件、复杂计算以及专业知识支持,因此,鉴于国际上EWMA方法的技术难度及专业经验缺乏,最佳的方法是折中的移动平均法(MA法)”,并需要采用传统的3SD控制限,在出现结果超过2SD和3SD的SOP情况下,应该采取的正确做法,第一是不要惊慌;第二是检测趋势。在面临超过3SD时的SOP情况下,第一是不要惊慌;第二是运行QC故障排除的流程图,第三是运行传统的质控品,见图1。

图1. 4种患者数据质控运算法的优缺点比较

图2. Sten Westgard教授展示的MA质控图、MA质控设置方法及失控纠正流程

四、对Sten Westgard教授观点的思考和不同看法

(一)本人不同观点及看法

1. 发挥PBRTQC临床应用价值的重要前提是设置最佳的程序,与PBRTQC专业软件工具、算法、患者数据分布特征、纳入/剔除标准、控制限、质量目标、警告&失控质控规则、统计均值所需样本量、权重系数等每一个因素密切相关,只有选择恰当,经性能验证证实设计的运算程序能够体现优秀质控效能,任何一种运算程序都可以是最佳的PBRTQC方法。

2. MA法虽是发展相对成熟的传统方法,但如不结合以上因素,单纯选择传统3SD控制限、2SD和3SD规则,很容易出现误差结果报警假阳性和假阴性情况,假阳性率高将浪费大量的实验室资源去处理,降低实验室人员对该方法的可信度;假阴性率高或误差检出概率低,将容易对患者造成医疗风险。

3. EWMA法如果设置考虑不全面,同样容易出现假阳性和假阴性的情况。EWMA法虽运算技术更为复杂,但只要基于功能强大的专业PBRTQC软件工具、参数考虑周全、进行全面设置、性能验证及优化,在监测分析性能变化及潜在质量风险产生方面,相比MA法更能体现“灵敏性“、”特异性“和“即时性”等优秀质控效能。

4. 每一种PBRTQC运算程序都有各自的特征,需要基于PBRTQC专业软件工具,临床实验室不断摸索、验证、优化、创新以积累专业经验,设置出最佳质控效能的PBRTQC质控方法。

(二)PBRTQC中MA法和EWMA法的比较

现以基于医学大数据挖掘及人工智能技术原创开发,独立的PBRTQC专业智能软件工具—上海森栩医学患者数据实时质控智能监控平台(AI-MA)在全国25家不同规模等级医疗机构、6个专业领域、16个品牌、39个型号、74台检测系统、110个检测项目、3127.54万真实世界检验结果大数据性能验证的多中心、多角度临床实践研究结果及积累的专业经验(对检验结果进行去个人标识处理,加密基于AI-MA进行分析,严格保护患者隐私及数据安全)、对MA法和EWMA法在识别质量风险及分析性能变化方面的质控效能及实验室间结果一致性进行比较研究。现从中挑选上海交通大学医学院附属瑞金医院王学锋教授、河北省儿童医院李贵霞教授和复旦大学附属中山医院青浦分院龚倩教授医学大数据挖掘及智慧建设团队基于AI-MA的真实世界大数据的研究案例进行阐述(见图3、图4、图5)。

图3. 上海交通大学医学院附属瑞金医院王学锋教授&森栩医学—智慧建设团队AI-MA临床应用现场


图4. 河北省儿童医院李贵霞教授&森栩医学--智慧建设团队AI-MA临床应用现场


图5. 复旦大学附属中山医院青浦分院龚倩教授医学大数据挖掘智慧建设团队


1. MA法假阴性案例:(1)选择森栩医学AI-MA的EWMA、Z分数图运算程序及智能质控规则,对希森美康XN1000血细胞分析仪RBC及HGB项目的患者数据(n=31853)进行分析。

结果显示,检测系统分析性能从5月11日开始出现负偏倚,并于6月14日纠正,见图6,根据实验室现场质量记录及仪器报警信息显示,6月13日XN1000血细胞分析仪器发生报警,报警样本量不足,并自动停止检测样本,实验室于6月13日下午更换样本针,14号仪器恢复正常检测。AI-MA的EWMA程序能够在故障报警前将近1个月识别和预警分析性能的变化,并且预警消除时间与实验室更换样本针的时间节点完全一致。从传统的仪器报警后纠正转变为实时监控、提前预警!

备注:绿色圆点是RBC的患者检测结果;紫色圆点是HGB的患者检测结果;黄色圆点是系统对分析性能变化出现负偏倚和分析误差结果预警的患者检测结果。

图6. 森栩医学AI-MA智能监控平台RBC的EWMA质控图、RBC&HGB Z分数图(EWMA法)

(2)选择森栩医学AI-MA的MA运算程序,参照Sten Westgard教授推荐3SD控制规则进行设置,验证同一批患者数据(n=31853),结果显示,RBC、HGB患者数据MA质控图均未出现预警信息,而且对应仪器故障引起的分析性能变化趋势及时间节点均不明显,即无法提前预警仪器故障的发生及潜在质量风险,见图7。

图7. 同一批患者RBC&HGB检测结果的MA质控图(MA法)

2. MA法假阳性案例:选择森栩医学AI-MA的患者数据EWMA质控品QC,整合Z分数图运算程序及智能质控规则,对贝克曼AU5800 ALT项目20-45U/L的患者群体数据(n=860)进行分析,结果显示,EWMA质控图与质控品QC趋势一致,均显示ALT检测分析性能良好、稳定,实际累积CV小于实验室的质量目标,仪器上的试剂空白及室内质控均反映分析性能稳定,见图8-B。选择森栩医学AI-MA的MA运算程序,参照Sten Westgard教授推荐3SD规则进行设置,验证同一批患者数据(n=860),结果显示,ALT患者数据MA质控图显示精密度分析性能一般,出现8次超2SD预警及2次超3SD的假阳性报警,与质控品QC显示的分析性能不相符。若按Sten Westgard教授建议的超2SD及超3SD处理流程,会给实验室带来额外的人力、时间及成本投入,见图8-A。


备注:蓝绿色圆点为患者检测结果的MA值及EWMA值;三角形符号的为高、中、低浓度水平质控品检测结果;黄色圆点为警告点,红色圆点为失控点

图8-A. 森栩医学AI-MA智能监控平台患者数据ALT的MA质控图

图8-B. 森栩医学AI-MA智能监控平台患者数据ALT的EWMA质控图&质控品L-J图整合的Z分数图

3. 基于患者数据PBRTQC智能监控云平台在区域检验中心智能化建设及结果互认的应用研究:上海青浦区域检验中心龚倩教授团队以复旦大学附属中山医院青浦分院为牵头单位,基于上海森栩医学医联体AI-MA实验室间比对云平台,进行所管辖的9家社区卫生机构血细胞分析的实验室间比对及各个实验室自身分析性能变化实时智能监控的研究,基于AI-MA云平台进行室内质控品、新鲜全血样本、患者大数据、EWMA法及中位数法在不同周期实验室间检验结果的一致性和比对效能进行比较研究,结果显示效果良好,可助力区域检验中心智能化建设、促进各级医疗同质化发展和检验结果互认,创新性领先国际。



图9. 基于患者数据AI-MA智能监控云平台青浦区检9家不同等级医疗机构MCV实验室间比对结果


图10. 基于患者数据AI-MA智能监控云平台青浦区检9家

不同等级医疗机构MCV实验室间比对偏倚比较


图11. 基于患者数据AI-MA智能监控云平台青浦区检9家

不同等级医疗机构MCV实验室间比对CV比较

(三)EWMA法及MA法比较研究佐证案例总结

以上3个案例可见,尽管EWMA运算更为复杂,但只要基于专业的智能软件工具,选择合适全面的质控参数,按IFCC PBRTQC性能要求进行PBRTQC方法建立、性能验证及优化,它在识别仪器故障及监控潜在质量风险方面就能体现出优异的“灵敏性“、”特异性“和“即时性”等质控效能,与中位数法在实验室间比对的质控效能相当。

EWMA是国际用于监测疫情暴发或流感病毒活动变化等公共卫生事件最著名的算法之一,在国际上其他行业领域的质量控制研究证明,EWMA控制图在不正确度监控方面的作用与Westgard多规则控制图相当,甚至更优,可以检验分析过程中不正确度或不精密度的微小变异和趋势变化。森栩医学PBRTQC专业智能软件工具AI-MA在不同规模临床实验室高达3127.54万真实世界检验结果大数据性能验证的多中心临床实践研究证实了AI-MA平台技术的灵敏性及特异性,同时也证实了PBRTQC方法的重要临床应用价值及EWMA算法的优秀性能。

五、国内外PBRTQC临床应用现状

Westgard早在2003年就指出临床实验室通常更喜欢质控品室内质控控制程序,实际在某些情况下,患者数据质量控制方法的Cusum、MA法等运算程序应是首选。随着基于患者风险临床实验室室内质量控制技术的发展、质控品IQC法控制法的局限性日益突出、临床实验室面临的质量与成本挑战、统计方法的成熟及信息技术能力的提高,PBRTQC受到的关注度及研究日益增多,前述大量国外研究报道证实,使用基于患者的实时质量控制PBRTQC方法与传统的质控品QC法相比具有很多优势,可以作为传统质控品内部质量控制的补充。Manoochehr Solgi等研究表明EWMA法在伊朗流感疫情实时检测中的效能良好;Huub H. van Rossum等通过移动的实现与应用平均为连续分析质量控制演示了24种常规化学分析仪器,表明采用MA作为多常规化学分析的连续分析控制仪器是可行的,可以提高质量保证。Huub H van Rossum等使用偏差检测曲线和移动平均检验图表优化和验证移动平均质量控制程序的研究显示偏置检测曲线可以通过多MA偏置检测特性的图形比较来优化MA设置;Zhou Q等评论了PBRTQC设置、优化和验证方法的背景、应设计包含PBRTQC的QC计划、替换IQC和软件功能要求复杂性的有关争议,并提出尽管质控品室内质控仍是任何Q计划的重要组成部分,但PBRTQC可以显着提高其性能及控制成本效率;Bietenbeck A等评估了10项化学和6项血液学测试的MA QC程序的性能和价值,10个月的时间,发生了202个单独的MA QC警报,MA QC警报率为0.030%,基于所有可用的完全执行和记录的对MA QC警报进行处理;Duan X等以血清钠为例,比较了单独和组合应用PBRTQC算法对仪器的误差检测能力,选择具有winsorization的移动中位数作为PBRTQC算法,优化了批结果数量和控制限等PBRTQC参数(块大小和控制限),研究结果表明单独应用PBRQTC算法相比组合数据在不同程度上具有更好的的误差检测率;Van Rossum HH等在计算机模拟中,对具有不同特性的10种分析物的真实患者结果添加了偏差,评估了不同的PBRTQC方法早期检测这些偏差的能力,开发了一个Web应用程序来估计PBRTQC性能,结果显示计算机模拟可以优化PBRTQC。

国内临床实验室有关PBRTQC的研究不多,但这两年技术也有很大的提升。丛玉隆等早在2002年探讨患者血浆浮动均值法用于血浆凝血酶原时间(PT)等凝血指标检测质量控制的应用,证实其可替代冻干血浆进行质控;刘浩等对EWMA控制图和休哈特控制图在环境分析实验室中的应用进行比较,结果表明,EWMA控制图在检验不准确度微小偏移上更有优势;徐梅等采用患者数据MA法应用于临床生化检验无质控品项目间接胆红素、锌和批间室内质控中,证实可有效监控开机及分析中因素导致的失控;刘正敏等应用EWMA质控图对核酸检测过程的稳定性进行监测,建立早期预警机制;夏骏等基于LIS建立临床生化患者数据均值和百分法室内质量控制程序,证实其是一种经济实用的方式,能弥补现有质控品质控的不足;Chao Song等基于PBRTQC的MA及AON法对实验室三台甲功检测分析仪性能的优化与验证,证实优化后的PBRTQC在分析性能变化、趋势和校准事件方面优于质控品室内质控方法PBRTQC可以作为每日IQC的一种低成本的补充程序;Xincen Duan等收集门诊患者血清钠、氯、丙氨酸转氨酶、肌酐等四种具有不同分布特征的常规分析物检测结果906,552份,对MA、MM、EWMA、MQ、MovSD和MovSO等6种PBRTQC算法在不同分析误差类型下的性能进行比较和评价,研究表明在选择和运行算法之前,评估特定分析物中潜在的误差来源和相应类型分析误差的重要性。陆怡德、张惜贤等基于森栩医学AI-MA的EWMA性能验证程序及实时动态程序进行两家不同规模临床实验室(日均标本量分别为30000份/天、40份/天)糖尿病指标检测全过程质量风险智能监控与管理的应用研究结果显示选择最优的EWMA程序可灵敏、准确、实时连续、动态监控因校准品、项目校准、标本运送、试剂、仪器故障、人员等问题造成分析性能变化而产生的误差结果和潜在质量风险,并进行智能预警,能弥补质控品质控法的不足,实现全时段检测分析性能变化的智能监控及早期预警。

此外,PBRTQC也被应用于实验室间的比对,比利时根特大学Goossens等开发了一种患者数据中位数质量控制法的独立在线工具“The Percentiler”,通过收集124家临床实验室、250台分析仪的门诊患者20种临床生化项目每日检测结果的中位数,基于The Percentiler进行不同实验室和制造商的测试结果可比性和分析性能稳定性实时监控,该方法有助于发现实验室分析性能中期到长期稳定性及各品牌厂商检测系统分析性能及试剂批间差异情况,通过及时采取纠正措施以此不断改进质量。卫生部临床检验中心开发的临床检验定量测定项目患者数据实验室间比对和监测平台,采用患者数据百分位数法,通过收集全国181家综合医院临床实验室临床生化项目患者数据中位数和全国105家新筛实验室新筛指标患者数据中位数,纵向监测实验室自身的长期稳定性,同时实现患者数据的实验室间比对;前述中国上海青浦区域检验中心龚倩教授团队基于森栩医学医联体AI-MA实验室间比对云平台进行9家不同等级医疗机构血细胞分析结果一致性研究,采用患者数据EWMA法和中位数法显示效果相当。国内外PBRTQC在许多复杂实验室的成功实施也进一步证明了这种质量控制方法的临床应用价值及技术提高,非常适合有严格质量风险的临床实验室实施及应用。

六、展望

这次有幸在线上聆听和学习国际质控大咖Sten Westgard教授的课,开拓视野,了解国外MA QC研究进展及应用方法。Stent Westgard教授提到,只有内行人才懂患者数据质控法的价值,只有这项技术的爱好者才会青睐它,深有同感!通过聆听国际质控大咖的课,对比国外患者数据MA法的研究进展,也深感自豪森栩医学的AI-MA智慧开发应用团队本着传承经典、创新应用、切实解决临床痛点与需求的钻研精神一起攻克了Sten Westgard教授提到的EWMA法的国际技术难点。同时,很开心、很荣幸能与全国许多卓越的学科管理者、优秀团队一起基于AI-MA进行大数据性能验证研究及专业经验积累,愈发感受到PBRTQC是一个令人兴奋的创新质量管理工具,也对AI-MA技术平台的专业性、创新性、领先性充满了信心!

PBRTQC应用程序的选择、性能验证、优化及运动模态的参数优化尤其具有挑战性, 国际上优化方法已经从简单的统计模型转向计算机模拟,Andreas Bietenbeck等用R编程语言编写了仿真程序;Moderator等指出随着PBRTQC的实施,未来需要将统计过程及控制思维方式从人工决策转变为人工智能方法,PBRTQC的最终目标减少质量风险,保证结果的准确性,更好地为患者服务。温冬梅团队原创设计开发的独立PBRTQC在线实时智能监控平台AI-MA,基于医学大数据挖掘、人工智能技术以及实时计算将海量的数据进行处理和建模,利用医学检验大数据进行分析全过程潜在质量风险的实时监控、识别与智能预警,是个可视化的全新的质量风险智能管理工具,全国25家不同规模等级医疗机构3127.54万真实世界大数据PBRTQC性能验证研究结果也充分证明了这个平台技术的先进性、创新性、专业度、灵敏度和特异性,走在检验领域医学大数据挖掘和PBRTQC应用领域的前沿。

国际上大量有关PBRTQC不同运算程序在复杂实验室和不同规模实验室的临床研究和成功实施证明其是一种很有应用价值和前景的质量管理新工具,IFCC PBRTQC工作小组提出现在是广泛采用PBRTQC的时候了!但PBRTQC在国内的广泛应用还受到认知程度、专业软件工具缺乏、专业实践及解释经验少等很多因素的制约,如何借助先进的创新技术设计、开发助力实验室进行全面质量控制及质量风险监控的PBRTQC专业软件工具是未来发展的重点;如何推进PBRTQC在国内临床检验领域的认知、接受和广泛应用是未来行业引领的新方向,相信未来随着检验同行对PBRTQC的日益关注、行业的发展进步、学会的推动、人员培训的加强、临床应用及实践摸索,大数据和人工智能技术在医学检验领域的应用,将加快PBRTQC在中国临床实验室的发展与应用进程。