基于AI的患者数据实时质量控制法在 检测系统稳定性智能预警平台建立中 的应用研究

曾方银，医学博士、主任技师、副教授。现任南方医科大学第五附属医院副院长。中国合格评定国家认可委员会ISO15189医学实验室认可评审员，中国老年医学会检验分会常委，中华医学会广东省检验分会副主任委员，广东省医疗行业协会检验分会副主任委员，广东省肝脏病学会检验分会副主任委员，广东省保健协会检验分会副主任委员，广东省医师协会检验分会常务委员，广东省检验学会临床生化学专家组组长。以第一作者或通讯作者发表学术论文50余篇；主编/副主编《临床生化检验诊断学》等专著3部，副主编/参编《临床生物化学检验》等全国统编教材7部；获教学成果奖4项；主持国家自然科学基金、广东省自然科学基金、广东省科技计划项目、广州市科技计划项目等多项课题研究。

李小燕，医学博士、 副主任技师。现任南方医科大学第五附属医院检验医学科科主任，广东省肝脏病学会检验分会常务委员，广东省保健协会检验分会常务委员，广东省医疗行业协会专科管理委员会常务委员，广东省健康管理学会检验医学专业委员会常务委员，广东省胸部疾病学会医学检验专业委员会常务委员，广东省医师协会检验分会委员，中国微生物学会医学微生物学与免疫学专业委会第一届青年委员会委员。国家自然科学基金青年基金评审专家，主持国家自然科学基金1项，参与国自然课题面上项目2项，主持广东省医学基金、广州市教育局青年基金、佛山市科技局医学基金课题共3项，发表SCI论文及核心期刊论文十余篇。

蔡海丽，主管技师，医学学士。现任南方医科大学第五附属医院检验科质量负责人。主要研究领域：临床实验室质量控制、肿瘤标志物相关指标数据挖掘。获得广东省检验医师协会举办的优秀检验案例优秀奖、广东省检验医学会举办肿瘤案例比赛二等奖，参与广东省课题1项。

临床检验结果是临床医生诊疗疾病的重要依据之一，检验结果的准确性直接影响临床诊断和治疗效果。肿瘤标志物、甲状腺功能、性激素和贫血指标等检验结果可为疾病的发生、预防、诊断、治疗方案制定及疗效跟踪等提供重要依据，因此全程监控检测系统分析性能的稳定性以保证检验结果的准确性至关重要。国际临床化学和检验医学联合会（IFCC）下设的分析质量委员会于2020年发表的指导文件中指出：基于患者数据的实时质量控制（patient based real time quality control，PBRTQC）是一种使用患者数据以实时、连续监测检测过程分析性能的质量控制方法，与传统的质量控制方法相比具有较多优势[1]，该方法包括正态均值法（average ofnomals，AON）、BULL法、移动中位数法（movingmedian，movMed）、移动均值法（moving average，MA）和指数加权移动均值法（exponentially weighted movingaverage，EWMA）等多种算法[2]。2020年IFCC建议将PBRTQC广泛应用于临床，但国内临床实验室对PBRTQC的认知与应用尚有很大差距，主要与以下原因有关：PBRTQC程序建立方法复杂，缺乏PBRTQC专业软件工具、不同项目个体间生物学变异大、纳入/剔除标准设定困难、缺乏PBRTQC程序建立及性能验证的经验等[3]。

国际上PBRTQC程序建立、性能验证及优化主要采用简单的统计模型及计算机模拟方法，Badrick等[4]建议PBRTQC的性能验证及应用应从传统的统计学方法向人工智能方法发展。此外，国际上PBRTQC研究报道主要为临床血液和临床化学检验领域，而化学发光检验领域应用非常少。因此，本研究拟基于人工智能技术开发的PBRTQC实时在线智能监控平台在监控化学发光检验领域质量风险识别与管理的临床应用研究，覆盖肿瘤标志物、甲状腺功能、性激素和贫血等检验指标34项，旨在评价PBRTQC在化学发光检测系统稳定性监控及质量风险预警方面的应用价值。此外，评价基于人工智能PBRTQC多参数模型与传统的PBRTQC模型在真实世界质量误差识别灵敏度及特异性等质控效能的比较。

一、研究对象与方法

（一）研究对象

1. 检测项目及患者数据来源：包括肿瘤标志物、甲状腺功能、性激素、贫血等化学发光检验项目34项。在本地服务器基于PBRTQC专业智能软件系统，收集来自南方医科大学第五附属医院2021年10月至2022年5月门诊及住院患者检测结果共90521例，进行PBRTQC程序的参数设置、模型建立、性能验证、效果评估及实时应用，对检验结果去除患者个人信息标识再进行大数据分析。

2. 质量管理：按照临床实验室规范管理要求执行校准、室内质控及仪器维护保养等；检测日室内质控在控后检测临床样本。

3. 检测系统与试剂：罗氏e801免疫流水线（罗氏诊断产品(上海)有限公司），均为配套试剂和校准品。

4. PBRTQC专业智能软件系统：患者数据实时质量控制智能监控平台（AI-Moving average intelligent monitoring platform，AI-MA）（上海森栩医学科技有限公司）。

（二）研究方法

1. PBRTQC运算程序算法：采用AI-MA智能监控平台的EWMA及MA运算程序。EWMA控制图的计算模型如下：

其中为第t+1点的估计值，为第t点的估计值，Zt为第t点的实际测量值，λ为加权系数，0＜λ≤1。MA法的计算公式如下：

Z(t)=X(t)/n+X(t-1)/n+X(t-2)/n+...+X(t-n+1)/n，

其中Z(t)为第t个结果数处的计算平均值，X表示结果，n表示批次大小。

2. 质量控制目标：依据卫生部室间质评评价标准设置PBRTQC的EWMA质控程序的允许总误差、精密度及正确度分析性能质量目标，无卫生部室间质评评价标准项目参考生物学变异设置质量目标。

3. 质控规则：采用森栩医学AI-MA智能监控平台基于人工智能算法的智能规则及传统Westgard规则。

4. PBRTQC质控效能评价指标：采用误差检出概率（probability for error detection，Ped）、假阳性率（false positive rate，FPR）、假阴性率（false negative rate，FNR）作为AI-MA患者数据智能监控平台最优程序的质控效能评价指标，以EWMA法的Ped可接受范围为＞90%、FPR＜5%、假阴性率（FNR）可接受范围为0%为最优程序，绘制ROC曲线。

5. PBRTQC程序建立和性能验证及效能评估：在AI-MA平台进行大数据分析、PBRTQC程序建立、模型建立、性能验证、效果评估与实时运行，包括质量目标设置、质控规则设置、数据自动提取、清洗、参数设置、智能运算、性能验证、最优PBRTQC方法选择、效能评价、实施及实时运行等规范步骤流程。

二、研究结果

（一）基于AI的PBRTQC实时智能监控平台建立不同类别免疫化学发光项目最优PBRTQC程序的参数

从肿瘤标志物、甲状腺功能、性激素、贫血等化学发光检验项目中筛选出14项代表性项目，基于AI-MA平台进行大数据分布特征分析、PBRTQC EWMA程序建立、模型建立、性能验证及效果评估确定各项目的最佳PBRTQC模型（表1）。选择最佳的PBRTQC参数可以灵敏地识别正确度及精密度分析性能变化，识别出检测系统存在的潜在质量风险。2022年1月至2022年5月的14个化学发光检验项目25423个患者检验结果大数据，基于AI的PBRTQC实时智能监控平台共发生6次预警，报警率为0.236‰，其中4次真报警，现场查看免疫分析仪记录和质量记录，导致分析性能变化的主要原因是试剂开瓶时间长、更换新瓶试剂、更换试剂批号、周保养清洗液过期等原因。AFP和TSH出现2次假报警，分析原因是由于该时段患者人群比例发生了改变所致14个化学发光项目EWMA实际累积CV均小于精密度质量目标及个体内生物学变异质量目标。T4和LH的EWMA累积CV均明显小于该项目不同浓度质控品QC的CV；AFP的EWMA累积CV明显小于该项目低水平浓度质控品QC的CV；INS的EWMA累积CV为7.63%，大于该项目2个浓度的IQC的CV；其余项目的EWMA累积CV与IQC的CV相近（图1）。

表1. 部分化学发光项目最优PBRTQC质控参数

注：*表示未出现误差结果警报

图1. PBRTQC EWMA法实际累积CV与同期不同浓度水平质控品CV的比较

（二）基于AI的PBRTQC实时智能监控平台在化学发光检验领域检测系统稳定性及质量风险识别的临床应用效果

1. 灵敏精准识别试剂开瓶时间长导致系统误差的潜在质量风险：AI-MA患者数据实时在线智能监控平台ICY-211患者数据EWMA质控图联合质控品IQC法Z分数图进行检测系统分析性能比较，患者数据的EWMA图与不同浓度质控品IQC图趋势基本一致，显示分析性能稳定，基于人工智能PBRTQC监控平台的最优EWMA质控程序能真实反映检测系统的分析性能稳定性（图2）。2022年2月9日至2月27日，EWMA图出现正偏倚报警，而IQC质控图无明显变化（图3）。经现场核对，由于春节标本量下降，2月9日当前试剂已开瓶使用21天，直到2月28日更换新瓶试剂才恢复正常。

2. 基于AI-MA智能监控平台的EWMA图识别自动质控品稳定有效期的应用：基于AI-MA智能监控平台的患者数据回顾分析发现，2021年12月26日e801免疫分析模块开始使用自动质控，胰岛素低浓度水平质控品在开瓶使用周期内（7天）出现明显负偏倚，而患者大数据4～104pmol/L浓度范围的EWMA质控图精密度和正确度分析性能良好（图4）。为了排除检测系统分析性能误差，同时重测新瓶质控品和室间质评样本，结果均在控。经确认表明胰岛素质控品稳定性较差，不适用自动质控模式，调整为每日新鲜质控品后，整体室内质控数据趋势与患者数据EWMA图一致（图5）。此外，FT3自动质控数据与患者数据EWMA图趋势一致（图6），表明该项目的质控品稳定性良好，适合自动质控模式。结果表明，基于AI-MA智能监控平台的PBRTQC无基质效应、稳定性好，不仅能真实反映检测系统的分析性能，还可以监控质控品状态。

（三）利用ROC曲线判断基于人工智能的PBRTQC智能监控模型在识别判断真实世界质量误差识别的质控效能

以胰岛素为例，基于人工智能的PBRTQC智能监控模型，利用不同加权系数ROC曲线判断在识别判断真实世界质量误差识别的质控效能（图7）。随着加权系数的减小，其质控效能的ROC曲线下面积越大，质控效能越高。λ=0.03的PBRTQC智能监控模型在识别胰岛素患者数据质量误差具有最佳质控效能，灵敏识别出胰岛素检测系统分析性能从2021年1月10日至1月28日出现系统偏倚（图8），发生偏倚和纠正偏倚的时间节点正好是2周定期保养的时间，且1月28日周保养更换了清洗液，推测是清洗液过期执行保养导致的系统误差。预警的触发和消除与实验室更换清洗液执行两周保养的时间节点完全一致，而传统的IQC法质控图没有触发警报（图8）。其结果表明，利用ROC曲线判断基于人工智能的PBRTQC平台在识别判断真实世界质量风险，较传统质控方法更灵敏。

注：绿色圆点为血清CY-211的患者检测结果数据分布情况，三角形符号为不同浓度水平质控品检测结果的分布情况

图2. e801细胞角蛋白19片段EWMA质控图&质控品IQC法联合Z分数图

注：绿色圆点为CY-211的患者检测结果数据分布情况，黄色圆点为预警有潜在质量

风险的检测结果，三角形符号为不同浓度水平质控品检测结果分布情况

图3. e801细胞角蛋白19片段EWMA质控图&质控品IQC法联合Z分数图

注：绿色圆点为血清INS的患者检测结果数据分布情况，三角形符号为不同浓度水平质控品检测结果的分布

图4. e801胰岛素EWMA患者数据分布情况与自动质控数据分布情况比较

注：绿色圆点为血清INS的患者检测结果数据分布情况，三角形符号为不同浓度水平质控品检测结果的分布情况

图5. e801胰岛素EWMA患者数据分布情况与非自动质控数据分布情况比较

注：绿色圆点为血清INS的患者检测结果数据分布情况，三角形符号为不同浓度水平质控品检测结果的分布情况

图6. e801游离三碘甲腺原氨酸EWMA患者数据与自动质控数据分布情况比较

图7. 胰岛素患者数据不同加权系数的EWMA算法的ROC曲线下面积

注：绿色圆点为血清INS的患者检测结果数据分布情况，黄色圆点为为警告点，

三角形符号为不同浓度水平质控品检测结果分布情况

图8. e801胰岛素患者数据EWMA（λ=0.03）质控图联合质控品Z分数图

三、讨论与分析

随着现代医学的发展和人类对疾病认识的不断提高,临床诊疗工作愈来愈依赖于实验室检验结果。肿瘤标志物轻微的升高会引起临床医生高度警惕和患者恐慌；甲状腺功能异常患者的诊疗，检验结果是评估用药效果、调整药量的重要标准，因此实验室检验结果的准确度极大地影响临床诊疗工作。为了获得高质量检验结果，实验室亟需能够监控检验全过程的实时监控质量管理工具。室内质量控制是临床实验室质量控制体系的核心内容，是评价检测系统性能变化的重要方法。患者数据质量控制法从提出至今已有半个世纪之久，PBRTQC在不同实验室的临床研究和应用证实其是一种很有应用价值和前景的质量管理工具。国内外的研究结果证实PBRTQC相比传统的质控品QC具备以下优点:实时监控、低成本、无基质效应、与传统质控品IQC法联合使用可持续监测检测系统的分析性能、监控试剂、仪器和校准引起的分析误差、识别分析前误差灵敏、可识别质控品选用不当等，在室内质控品更换批号期间实时监控检测系统真实性能变化等[8-11]。夏骏等[5]基于实验室信息系统建立临床生化项目患者数据均值和百分法IQC程序，证实其是一种经济实用的方式，能弥补现有质控品质控的不足。李欣等[7]基于AI的PBRTQC的研究结果显示，大多数预警的原因为试剂批号更换问题引起，强调厂家在研发过程中要尽量缩小试剂之间的批间差异以提高质量。杨帆等[11]基于PBRTQC智能软件工具进行血清离子项目大数据性能验证及实时应用，证实最优的EWMA程序可灵敏、准确识别来源于试剂、仪器故障及校准等导致的质量风险，实现全时段智能监控及早期预警。IFCC建议将PBRTQC广泛应用于临床，并对PBRTQC信息软件工具需具备的基本功能及创新差异化功能做了详细说明建议，温冬梅等[6]基于医学大数据挖掘和人工智能技术开发的PBRTQC智能监控平台AI-MA，具有患者大数据分布特征自动统计分析、数据过滤、6种PBRTQC运算技术自动建模和性能验证程序、整合质控品L-J图、实时动态运行及智能预警等功能，并可同步到平板电脑和可视化大屏幕，为PBRTQC在临床广泛应用提供专业软件工具的支持。

本研究基于PBRTQC专业智能软件工具和真实世界患者大数据，进行PBRTQC在肿瘤标志物、甲状腺功能、性激素和贫血等化学发光项目的检测系统分析性能及质量风险预警方面的应用研究，包括基于AI-MA平台建立不同类别的免疫化学发光项目的最优程序参数、EWMA累积CV与不同浓度质控品CV的比较、基于AI的PBRTQC实时智能监控平台在化学发光检验领域检测系统稳定性及质量风险识别的临床应用效果、评价基于人工智能PBRTQC多参数模型与传统的PBRTQC模型在真实世界质量误差识别灵敏度及特异性等质控效能的比较等。如本课题在化学发光检验领域如此全面的PBRTQC研究暂未见报道。

本研究基于AI-MA的EWMA算法的患者数据质量控制方法在化学发光检验项目的建立、应用做了相关探索。在参数设置过程显示，选择合适的参数程序，EWMA法的质控效能优于MA法。试剂开瓶时间长导致项目分析性能改变，EWMA法较传统IQC法和MA法更灵敏发现潜在质量风险，还可以评价试剂说明书申明的开瓶稳定期等性能。此外，本研究结果显示基于AI-MA智能监控平台的PBRTQC无基质效应、稳定性好，不仅能真实反映检测系统的分析性能，还可以监控质控品状态及自动质控的适用项目。本研究结果显示，基于AI-MA的EWMA质控图可实时、连续监控化学发光检测系统的精密度和准确度的分析性能，灵敏识别和动态监测分析过程中因试剂开瓶时间，试剂瓶间差异、批号差异，周保养清洗液过期等改变存在潜在质量风险，并进行智能预警，辅助实验室人员及时采取预防和纠正措施。保养清洗液过期可使保养后仪器的检测分析性能改变，试剂开瓶时间长存在潜在质量风险，触发EWMA质控图预警，同时段传统质控品QC质控在控，这也证明了PBRTQC相比质控品QC可以更早、更灵敏地发现这些检测系统的微小变化和潜在质量风险，及时纠正。

利用ROC曲线判断基于人工智能的PBRTQC平台识别判断真实世界质量风险较传统质控方法更灵敏。随着加权系数的减小，其质控效能的ROC曲线下面积越大，质控效能越高，还要结合验证结果和实际质量事件选择最优参数程序。PBRTQC程序的性能验证及优化需要注意平衡Ped和假阳性率的比例，选择具有最佳Ped和假阳性率的PBRTQC质控方法需要不断摸索实践以积累专业经验[6]。目前关于EWMA法在临床检验领域应用报道较少，多见于流行病学监控，如在流感疫情和新冠疫情检测都有良好效能[12-13]。

综上所述，通过真实患者大数据充分证实了AI-MA智能监控平台技术的灵敏性和特异性，同时也证实了PBRTQC方法在化学发光检验领域的重要临床应用价值和质控效能。未来希望基于人工智能的PBRTQC平台能够可以广泛应用于实验室各专业领域的室内质量控制，赋能实验室智能化建设及全面提升质量管理水平。

参考文献

Loh TP, Bietenbeck A, Cervinski MA,et al. Recommendation for performance verification of patient-based real-time quality control[J]. CCLM, 2020, 58(8): 1205-1213. DOI:10.1515/cclm-2019-1024.

Loh TP, Cervinski MA,Katayev A, et al. Recommendations for laboratory informatics specifications needed for the application of patient-based real time quality control[J]. Clin Chim Acta, 2019, 495: 625-629. DOI:10.1016/j.cca.2019.06.009.

温冬梅, 郝晓柯. 基于患者数据的实时质量控制建立原则及研究进展[J]. 中华检验医学杂志, 2022, 45(1): 82-86.

Badrick T, Bietenbeck A, Cervinski MA, et al., International Federation of Clinical Chemistry, and Laboratory Medicine Committee on Analytical Quality. Patient-based real-time quality control: review and recommendations[J]. Clin Chem, 2019, 65(8): 962-971.

夏骏, 孙汝林, 周俞, 等. 患者数据均值和百分位数在临床生化日常室内质量控制中的应用[J]. 中华检验医学杂志, 2019, 42(4): 270-276.

温冬梅, 王学锋, 陆怡德. 基于患者实时质量控制在不同规模临床实验室质量风险管理中的智慧应用价值[J]. 临床实验室, 2019, 13(12): 39-48.

李欣, 杨超, 郑磊. 基于人工智能的患者数据实时质量控制在质量风险智能监控与管理的应用研究[J]. 临床实验室, 2021, 15(8): 70-78.

李萍, 李园园, 黄亨建, 等. 患者数据质控在定义室内质控分析批长度中的应用[J]. 临床检验杂志, 2009, 27(3): 228-232.

David NG, Polito FA, Cervinski MA. Optimization of a Moving Averages Program Using a Simulated Annealing Algorithm: The Goal is to Monitor the Process Not the Patients[J]. Clinical Chemistry, 2016, 62(10): 1361-1371.

Fleming JK, Katayev A. Changing the paradigm of laboratory quality control through implementation of real-time test results monitoring: For patients by patients[J]. Clinical Biochemistry, 2015, 48(7/8): 508-513.

杨帆, 董丹凤, 陆怡德. 患者数据指数加权移动平均法在血清离子项目室内质量控制中的应用[J]. 检验医学, 2021, 36(9): 962-968.

Solgi M, Karami M, Poorolajal J. Timely detection of influenza outbreaks in Iran: evaluating the performance of the exponentially weighted moving average[J]. J Infect Public Health, 2017, 9(11):1-4.

Yupaporn A, Rapin S. EWMA control chart based on its first hitting time and coronavirus alert levels for monitoring symmetric COVID-19 cases[J]. Asian Pacific J Tropical Med 2021, 14(8): 364-374.