基于人工智能的患者数据实时质量控制在质量风险智能监控与管理的应用研究

郑磊，教授，医学博士，博士生导师，南方医科大学南方医院检验科主任。主要研究方向为肿瘤液体活检新技术研究、血栓与止血实验诊断、医学检验教育信息化研究等。在Adv Sci，JEV，Angew Chem Int Ed，ACS Nano，Nano Lett，Mol Cancer，ATVB等知名期刊上发表SCI论文60余篇，主编/副主编教材及专著12部；申请国家发明专利22项，获得广东省教学成果一等奖2项。国家杰出青年科学基金获得者、珠江学者特聘教授、广东省医学领军人才、广东省杰出青年医学人才。国际细胞外囊泡学会（ISEV）教育委员会执行主席，世界华人检验与病理医师协会副会长，中华医学会检验分会常委，中国研究型医院学会细胞外囊泡研究与应用分会（CSEV) 副主委，广东省医师协会检验医师分会主任委员、广东省高等教育医学技术教指委副主任委员等。担任Journal of Extracellular Vesicle杂志Associate Editor，中华检验医学杂志、国际检验医学杂志、分子诊断与治疗杂志等期刊编委。

李欣，主管技师，医学博士，南方医科大学南方医院检验科免疫组副组长，主要研究领域：自身抗体在自身免疫性疾病中的临床应用研究、临床实验室质量控制。发表SCI论文8篇，参与国家基金一项。

国际临床化学联合会（IFCC）和国际临床化学和分析质量检验医学委员会于2020年发表的指导文件指出基于患者数据的实时质量控制（patient based real time quality control，PBRTQC）是一种使用患者临床标本检测结果以实时、连续监测检测过程分析性能的质量控制方法，与传统的质量控制方法相比具有很多优势[1]，它包括BULL法、移动平均法MA（Moving average，MA）和指数加权移动平均法（Exponentially Weighted Moving Average，EWMA）[2]等多种运算程序。PBRTQC程序的建立相比传统质控品室内质控方法的建立复杂程度高很多，PBRTQC应用程序的选择、性能验证、优化及实施都具有一定的挑战性，需要精心设计，其过程需要考量多个要素，如统计模型、患者人群纳入/排除标准、数据范围选择、数据转换、质量目标、控制限、质控规则选择、加权系数、批量大小选择等。PBRTQC指导文件指出，PBRTQC实施之前应对其进行性能验证，并该验证过程应真实反映PBRTQC在临床实验室应用环境中的实际性能，以便进行适当的风险评估。目前，PBRTQC应用较广泛的专业领域是血细胞分析，部分进口厂家生化免疫流水线中间件也有MA功能，但采用的方法是传统的BULL法、MA法运算方法和Westgard质控规则，功能简单，不能完全符合IFCC建议的PBRTQC专业软件工具的性能验证等技术要求和功能特征。

随着人工智能技术在医疗领域的兴起，IFCC的PBRTQC指导小组建议PBRTQC程序建立应往机器学习的方向发展，通过人工智能学习以提高PBRTQC识别潜在的质量风险灵敏度和特异性[3]，但目前尚无相关应用研究报道。因此，本研究基于医学大数据挖掘及人工智能创新技术开发的独立PBRTQC专业智能软件工具和真实世界患者大数据，进行PBRTQC在5个专业领域质量风险识别的临床应用价值研究，包括PBRTQC参数设置、程序建立、性能验证、质控效能评价及实时运行临用研究，覆盖临床生化、化学发光、临床免疫、血细胞分析及凝血检验等5个专业领域、国产和进口等6个品牌检测系统和36个检测项目，旨在评价基于AI技术的创新PBRTQC智能监控平台在不同检验专业领域进行实时连续质量风险智能监控与管理的临床应用价值，以促进PBRTQC在国内临床实验室的认知和实施提供经验借鉴。

一、材料与方法

（一）材料

1. 检测项目及患者数据来源：共纳入临床生化、化学发光、临床免疫、血细胞分析、凝血检验等5专业领域常规检测分析指标36个项目，包括血脂类等临床生化项目8项；甲功类项目等化学发光检验项目10项；全血细胞分析13项；凝血细胞分析5项。采集南方医科大学南方医院2020年1月至2020年12月门诊及住院患者检测结果共220933例用于PBRTQC模型参数设置的训练集数据；采集2021年1月至2021年5月门诊及住院患者检测结果共117701例作为验证集数据，对建立PBRTQC模型进行性能验证和质控效能评价，选择最优的PBRTQC程序，对检验结果严格去患者个人标识处理、加密导出对接至PBRTQC智能专业软件工具再进行大数据分析，训练集与验证集数据的比例在70:30至60:40之间。

2. 质量管理体系：按照ISO15189质量管理体系的规范化管理要求执行校准、室内质控及仪器维护保养等；每日清早室内质控在控后检测当日的临床样本。

3. 检测系统与试剂：全自动凝血分析仪CS5100（日本希森美康公司）、西门子Centaur XP全自动化学发光分析仪（西门子医学诊断产品（上海）有限公司）、Beckman Coulter AU5800自动化生化分析仪（美国贝克曼库尔特公司），小而密低密度脂蛋白胆固醇Sdldlc测定试剂盒（过氧化物酶法）（北京九强生物技术股份有限公司），TG检测试剂盒为甘油三脂测定试剂盒（GPO-PAP法）（迈克生物股份公司），其他均为配套试剂。

4. PBRTQC专业智能软件系统：患者数据实时质量控制智能监控平台（AI-Moving average intelligent monitoring platform，AI-MA）（上海森栩医学科技有限公司），基于国际质量控制和国家行业标准权威统计方法设计建模，采用医学大数据挖掘及人工智能创新技术开发，患者数据PBRTQC与内部质控品QC均整合在此平台，基于AI-MA平台进行PBRTQC程序建立、智能运算、性能验证、效果评估与实施运行，包括质量目标设置、质控规则设置、数据自动提取、参数设置、智能运算、性能验证、最优PBRTQC方法选择、效能评价、实施及实时运行等规范步骤流程。

（二）方法

1. PBRTQC运算程序算法：采用AI-MA智能监控平台的EWMA及MA运算程序，EWMA法计算公式如下：

其中为第t+1点的估计值，为第t点的估计值，为第t点的实际测量值，λ为加权系数，0＜λ≤1。MA法的计算公式如下：

其中Z(t)为第t个结果数处的计算平均值，X表示结果，n表示批次大小。

2. 质量控制目标：依据卫生部室间质评评价标准设置PBRTQC的EWMA质控程序的允许总误差、精密度及正确度分析性能质量目标；

3. 质控规则：采用AI-MA智能监控平台创新的智能规则及传统Westgard规则。

4. PBRTQC质控效能评价指标：采用误差检出概率（probability for error detection，Ped）、假阳性率（false positive rate，FPR）、假阴性率（false negative rate，FNR）作为AI-MA患者数据智能监控平台最优程序PBRTQC性能验证的质控效能评价指标，设定EWMA法的Ped可接受范围为＞90%、FPR＜5%、假阴性率（FNR）可接受范围为0%为最佳。

5. PBRTQC程序建立、性能验证、效能评估：在AI-MA平台进行PBRTQC程序建立、性能验证、效果评估与实施运行，包括质量目标设置、质控规则设置、数据自动提取、参数设置、智能运算、性能验证、最优PBRTQC方法选择、效能评价、实施及实时运行等规范步骤流程。

二、结果

（一）PBRTQC智能运算模型建立和性能验证及最优程序的选择

以小而密低密度脂蛋白胆固醇Sdldlc为例，基于AI-MA智能监控平台的性能验证系统，选用EWMA法，引入总允许误差（TEa），将选定的Sdldlc的各种PBRTQC参数应用于验证数据集，建立PBRTQC EWMA质控图智能运算模型，为了验证正负两个方向的系统误差识别效能，在原始验证数据集中先后引入两批正偏倚和负偏倚误差结果，重新提交进行智能运算，结合质控图情况进行误差检出概率（Ped）、假阳性率（FPR）和假阴性率（FNR）计算和最优EWMA运算程序的选择。表1结果显示，Sdldlc最优PBRTQC参数结果为截断值选择（1.0-1.67）mmol/L，加权系数选择0.05时，误差检出率为100%，无假阳性或假阴性报警（见表1及图2）。在加权系数、截断值范围设置合适的情况下，智能规则的Ped、FPR和FNR等PBRTQC质控性能评价指标明显优于传统质控规则；在时效性和灵敏性方面，智能质控规则于人工引入误差当天（10月31日）就实时反映，传统质控规则在11月9日才出现第一次报警，相对滞后9天（见图3）；即使利用MA法运算，采用智能质控规则的误差检出率（71.53%）高于传统质控规则误差检出率（23.22%）（见表2）。此外，该结果显示，在参数选择合适的情况下，EWMA法的Ped、FPR和FNR等PBRTQC质控性能评价指标优于MA法（见图4）。

表1. 数据纳入范围及加权系数对Sdldlc PBRTQC最优程序性能的影响及比较

表2. 传统westgard规则与森栩智能质控规则对PBRTQC最优程序性能的比较

注：a：westgard规则包括：失控：1-3s，2-2s，警告：1-2S

图1. AI-MA性能验证模型不同范围人群纳入的Sdldlc PBRTQC EWMA法质控效能比较

图2. AI-MA性能验证模型不同加权系数的Sdldlc PBRTQC EWMA法质控效能比较

图3. AI-MA性能验证模型不同质控规则的Sdldlc PBRTQC 质控效能比较

图4. AI-MA性能验证模型不同PBRTQC运算方法质控效能比较

（二）PBRTQC智能监控平台在临床实验不同专业领域质量风险及分析性能变化方面的应用

1. 各专业领域最优PBRTQC程序质量风险预警率及原因分析：基于AI-MA性能验证模块进行最佳EWMA质控运算程序设置、性能验证和选择，以凝血检测项目、甲状腺功能项目、血脂及免疫球蛋白等项目为例，最佳EWMA质控参数在进行临床实验室实际真实世界患者数据环境中实时应用的六个月，上述项目发生潜在质量风险预警率为0.00-2.29‰，但均在可允许的误差范围内，实际累积CV%均小于精密度质量目标；经现场查询质量记录、仪器校准等相关信息及室内质控重测均能验证及确认发生分析性能变化预警的原因、变化趋势和时间节点，确定AI-MA在分析全过程出现分析性能变化预警的主要原因包括试剂批号变更、试剂质量变质、校准品问题执行校准等原因造成的分析性能变化而产生的潜在质量风险，其中TG有一次假阳性报警，其原因为当天有大批量职工体检导致患者群体构成比发生变化导致了数据偏倚，具体结果见表4。此外，AI-MA可灵活联合相关项目临床标本的患者数据进行实时质量控制及质量风险识别、实时运算、智能判断及智能预警，监控平台的相关项目患者数据EWMA法Z分数图分析性能稳定情况下呈正态分布、趋势一致，其中黄色为AI-MA系统智能预警出现分析性能变化的结果见，图5。

表3. 临床实验室不同专业领域最优PBRTQC的EWMA程序质量风险预警率及原因分析

图5. PT/APTT/Fbg 联合分析的EWMA质控法Z分数图

2. 基于AI的PBRTQC智能监控平台在质量风险监控及识别的临床应用效果

（1）灵敏识别化学试剂磁颗粒检测质量问题导致系统精密度变化的潜在质量风险：AI-MA患者数据实时质控智能监控平台在实验室实时运行时，4月23日9:49分开始发生智能预警，西门子Centaur XP全自动化学发光分析仪T4精密度性能突然发生变化并出现预警，见图6。当天质控品在控，未触发预警，现场核对仪器试剂状况，发现检测过程中新上机使用的T4试剂磁颗粒难以混匀，易发生沉淀，需人工手动混匀，后进一步追查，可能是由于试剂运输过程不当导致的试剂质量出现问题，更换检测试剂盒后当天下午15：11分左右其检测精密度恢复正常。结果显示基于AI的EWMA质控图可优于质控品法灵敏识别试剂质量潜在质量风险。

图6. 患者数据EWMA质控图联合质控品IQC法联合Z分数图

（AI-MA智能监控平台将患者PBRTQC和质控品IQC智慧整合、自动运算绘制的Z分数质控图；绿色圆点为血清T4的患者检测结果数据分布情况，黄色圆点为预警有检测误差的检测结果；三角形符号的为不同浓度水平质控品检测结果的分布情况）

（2）患者数据PBRTQC EWMA联合质控品QC在灵敏识别试剂批号更换导致检测系统正确度变化的智慧应用：AI-MA患者数据实时质控智能监控平台APTT EWMA患者大数据回顾性分析显示，2020年11月27日至2021年2月17日出现正偏移情况，但质控品QC显示变化并不明显（见图7），前后性能稳定，为排除检测系统的问题，联合分析了PT及Fg项目，患者数据Z分数图显示PT项目及Fg项目趋势正常且一致，排除检测系统性能问题。后经现场质量记录查阅发现APTT于2020年11月27日开始换批号，当时室内质控提示新批号试剂检测结果稍偏高，因此工作人员在该检测结果计算公式（一阶方程式）中将系数进行调低，以消除正偏倚趋势，时间节点和发现的问题完全一样。结果显示，基于AI的患者数据PBRTQC相比质控品QC在识别因试剂批间差异大导致的系统误差方面更灵敏、更能真实反映偏倚的严重程度，可帮助实验室及时采取纠正措施。

图7. APTT患者数据EWMA质控图&质控品IQC法联合Z分数图

三、讨论

室内质量控制是实验室质量风险管理的重要组成部分，基于患者数据进行质量控制相比传统的采用质控品进行质量控制具有低成本、连续性监测、无基质效应等优势。随着信息技术在医疗领域发展，基于患者数据的实时质量控制PBRTQC逐渐受到临床实验室人员关注[6]。采用患者数据进行质量控制的质量策略AON法早于1965年由Hoffman和Waid提出[3]，随着国际上临床实验室信息技术的发展以及研究的深入，PBRTQC被证实是一种很有应用价值的QC工具。IFCC的PBRTQC工作组就PBRTQC信息软件需具备的基本功能做了详细说明建议[1]，包括临床检测数据信息的获取，保存，提取、分析、转化、统计等，此外，建议PBRTQC实施之前应对其进行性能验证和效果评估，真实反映PBRTQC在临床实验室应用环境中的实际性能和采取适当的风险评估，本研究基于医学大数据挖掘及人工智能创新技术开发的独立PBRTQC专业智能软件工具森栩医学AI-MA和真实世界患者大数据，进行PBRTQC在5个专业领域质量监控与管理的临床应用价值研究，包括不同参数选择对于最优PBRTQC程序建立的影响及重要性、比较研究基于智能质控规则与传统Westgard规则的PBRTQC程序识别质量风险的质控效能、验证PBRTQC在不同专业领域检测系统分析性能变化的临床应用价值、比较研究PBRTQC与内部质控品QC联合应用的价值等，如本课题基于医学大数据挖掘和人工智能技术的PBRTQC创新专业软件工具进行PBRTQC以上多角度临床应用价值研究的报道国内外暂未见。

本研究结果显示，基于AI-MA智能监控平台的性能验证系统，建立符合实验室质量管理的TEa、Ped、FPR和FNR等性能指标要求，选择合适比例的训练数据和验证数据集，可灵活建立EWMA和MA等各种PBRTQC方法的智能运算模型，进行Sdldlc正偏倚和负偏倚两个方向误差结果的识别效能验证，完全符合IFCC PBRTQC指导小组的性能验证要求，而且基于真实世界大数据应用环境，具备灵活智能等创新功能。按照IFCC推荐，将训练集数据与验证集数据比例控制在50:50至80:20之间（本研究数据比例为70:30至60:40），以Sdldlc为例，PBRTQC结果显示不同范围数据纳入及不同加权系数下，PBRTQC的误差检出率及假报警率有较大差异，本研究显示在PBRTQC最优方法的建立与多个参数设置有关，如质控规则、运算方法，纳入数据范围，加权系数等，任何一个参数的变化都会导致PBRTQC识别质量风险出现不同程度的假阳性或假阴性，需要实验工作人员不断尝试以积累PBRTQC的专业经验。

此外，本研究比较研究了森栩医学AI-MA创新的智能质控规则和传统Westgard规则在PBRTQC中应用效果，结果显示，在加权系数、截断值范围设置合适的情况下，在基于患者数据的PBRQTC识别质量风险的时效性和灵敏性方面，AI-MA创新的智能规则优于传统Westgard质控规则，及时报警进一步减少错误结果的报告单，并在一定程度上节约了复测带来测试成本。

本研究对基于EWMA算法的PBRTQC在临床检验各专业领域的建立、应用做了相关探索。在参数设置过程中，结果显示，在参数选择合适的情况下，EWMA法的质控效能优于MA法；该算法于1959年由 Roberts首次提出[5]，其EWMA控制图常用来侦测流程的微小偏移，与休哈特(shewhart)控制图只考虑当前数据的统计检验不同，EWMA控制图将历史数据也考虑进来，以实现实时连续监控，其中加权系数的引进使得该算法对趋势变化的更加敏感。但目前关于EWMA法在临床检验领域的应用报道相对较少，多见于流行病监控方面，如在流感伊朗流感疫情和新冠疫情监测上都有良好的效能[6-7]。在应用效果方面，通过与现场质量记录进行比较分析，基于AI的PBRTQC在生化血脂类、免疫球蛋白、临床凝血检测项目、免疫甲状腺激素项目中可通过单独或联合室内质控品和（或）其它关联项目均实现实时、连续监控检测系统的不准确度和不精密度分析性能变化，并进行智能预警及智能管理。在质量风险分析中，我们的结果显示大多数预警的原因为试剂批号更换问题引起，这与国外PBRTQC识别分析性能变化的主要原因一致，这也说明试剂相关厂家在研发过程中要尽量缩小试剂之间的批间差异以提高质量。

综上所述，基于AI的PBRTQC专业软件工具患者数据实时质控AI-MA智能监控平台具有可靠、强大、灵活的数据处理统计功能，可以高效协助临床实验室不同专业领域建立“个性化”的基于患者数据实时质控PBRTQC策略，弥补现有利用质控品进行室内质控的不足，实现实验室对临床检验不同专业领域各类质量风险的实时监控、识别和早期预警，此外，基于功能强大全面的PBRTQC专业工具、临床不断探索研究、积累最优PBRTQC程序设计、性能验证和优化的专业经验非常重要，避免出现误差结果报警假阳性和假阴性情况，假阳性率高将浪费大量的人力资源去处理，降低实验室人员对该方法的可信度；误差检出概率低，将容易发出有误差的结果，对患者造成医疗风险，这样才能真正发挥PBRTQC的临床应用价值，保证最佳的灵敏性和特异性，是现代化实验室全新的质量管理工具。

参考文献

[1]Tze Ping Loha, Mark A. Cervinskib,h, Alex Katayevc Recommendations for laboratory informatics specifications needed for the application of patient-based real time quality control.Clinica Chimica Acta: 495 (2019) 625-629.

[2]Tze Ping Loh*, Andreas Bietenbeck, Mark A. Cervinski.Recommendation for performance verification of patient-based real-time quality control. Clin Chem Lab Med 2020; aop: 1-9.

[3]Badrick T, Bietenbeck A, Katayev A, van Rossum HH, Loh TP, Cervinski MA; International Federation of Clinical Chemistry and Laboratory Medicine Committee on Analytical Quality. Implementation of patient-based real-time quality control. Crit Rev Clin Lab Sci. 2020 Dec; 57(8): 532-547.

[4]何书康, 王薇, 杜雨轩, 王治国. 临床检验基于患者数据室内质量控制方法的研究与进展[J]. 国际检验医学杂志, 2020, 41(11): 1390-1395.

[5]ROBERTSSV Control chart tests based on geometric moving averages[J]. Technometrics, 1959, 1: 239-25.

[6]Manoochehr Solgi, Manoochehr Karami, Jalal Poorolajal, Timely detection of influenza outbreaks in Iran: evaluating the performance of the exponentially weighted moving average. Journal of Infection and Public Health. 2017, 9(11): 1-4.

[7]Areepong Yupaporn1, Sunthornwat Rapin. EWMA control chart based on its first hitting time and coronavirus alert levels for monitoring symmetric COVID-19 cases. Asian Pacific Journal of Tropical Medicine 2021; 14(8): 364-374.