PBRTQC与CLSI EP15A2在临床生化仪器间结果比对及偏倚评估的比较研究

徐邦牢，医学博士，博士研究生导师，澳大利亚新南威尔士大学博士后，主任技师、教授。现任广州市第一人民医院检验科主任。兼任广东省医师协会检验医师分会副主任委员、中国医师协会消化道肿瘤专业委员会委员、全国卫生产业企业管理协会医学检验产业分会专家委员会委员等。在国内外杂志上发表学术论文80余篇，其中SCI论文30篇。主要研究方向：肿瘤及感染性疾病的分子诊断。

张婷，博士研究生，主管技师，硕士研究生导师，广州市高层次人才青年后备人才。现任广州市第一人民医院检验科生化组组长，广东省医学会检验医学分会生化学组委员，广州市医学会检验医学分会生化学组委员，广州市医学会精准分子诊断学分会委员兼秘书。主持国家自然科学基金青年项目、广州市科技计划等基金4项，作为项目组主要成员参与国家、省市各类课题10余项。至今已在Cell、CellDeathDis.、FrontiersinOncology等杂志发表SCI论文10篇，其中第一作者/通讯作者4篇。

【摘要】目的 探讨及比较基于AI的患者数据实时质量控制（Patient-based real-time quality control，PBRTQC）与CLSI EP15A2指南在临床实验室内不同生化分析仪间肌酐检验结果比对及偏倚评估的效果及应用价值。方法 收集2021年7月7日-2022年6月18日期间广州市第一人民医院所有门诊及住院患者血清肌酐检测结果，使用PBRTQC智能监控平台进行患者数据正态分布检验、参数设置、程序建立、实时运行及性能验证。依照EP15A2文件的要求，以贝克曼库尔特AU5831生化分析仪为参比仪器，AU5821生化分析仪为比较仪器，在两套检测系统分别测定质控品、校准品和50例肌酐患者的结果进行分析和偏倚评估并与EWMA法和中位数法比较。人工引入10.2%正偏倚，计算和比较分析新鲜血比对法、EWMA法和中位数法得出的仪器间偏倚。新鲜血比对法仪器间偏倚以中华人民共和国卫生行业标准WS/T 403-2012临床生物化学检验常规项目分析质量要求（≤±5.50%），EWMA法和中位数法仪器间偏倚以生物学变异（≤±3.40%）为判断标准。结果 ①EWMA法可以有效识别检测过程中风险点。②EWMA法用于监测仪器间可比性监测效能优于中位数法。③与新鲜血比对法相比，EWMA法具备相当的设备间可比性监测效能。结论 使用基于AI的PBRTQC可以实现临床实验室生化仪器间检验结果实时和自动比对，降低实验室运营成本，提高工作效率和质量管理水平。

临床检验是疾病预防、诊断和治疗的重要手段，检验结果的准确性、及时性直接影响临床的医疗决策、安全和诊疗效果。随着医学的发展，国内外指南都对实验室的质量要求和管理能力提出了更高的标准，基于患者风险的管理日益受到重视。肌酐（CREA）定量结果检测是临床疾病诊断治疗的常规检测项目，也是事业单位、公务员录用的标准体检项目，微小的误差结果都有可能影响患者的诊疗、各类体检者的前程以及医院的声誉，因此识别及监测分析全过程的质量风险保证检验结果的准确性至关重要。此外，由于实验室布局和工作量的要求，临床化学亚专业组常常使用两套及以上检测系统检测同一项目，其检测结果的一致性也对临床监测和治疗起着至关重要的作用。目前国内用于结果比对的方法多参考美国临床实验室标准化委员会（CLSI）的EP9A2文件或者是EP15A2文件，但EP9A2方案存在比对样本量大、周期长、标本收集难，统计公式复杂等缺点；而EP15-A2文件中使用患者样本的真实度评价方案，可达到同样的比对效果，比对样本量小、周期短、操作计算等简化等优点[1]。尽管实验室都遵循WS/T 407-2012《医疗机构内定量检验结果的可比性验证指南》或CNAS-CL02-A001《医学实验室质量和能力认可准则的应用要求》的要求每季度或者每年进行1次比对，样本数量和浓度水平也都符合各项指南和准则的要求，但是使用两套及以上检测系统检测同一项目的结果是否实时可比仍带有不确定性[2, 3]。

基于患者数据实时质量控制（Patient-based real-time quality control，PBRTQC）是一种使用患者临床标本检测结果来实时、连续监测检测过程分析性能的质量控制方法，它与传统的质量控制方法相比具有成本低、无互换性问题、连续、实时性能监控以及敏感识别分析前误差的优点，是传统室内质量控制方法的有效补充。PBRTQC运算程序包括BULL法、移动中位数法（moving median，movMed）、移动均值法（moving average，MA）和指数加权移动均值法（exponentially weighted moving average，EWMA）等[4]。比利时Kenneth Goossens等基于患者数据中位数质量控制法建立了124家实验室和250台分析仪生化项目测试结果的比对[5]。国家卫生健康委员会临床检验中心采用患者数据百分位数法，通过收集全国181家临床实验室临床生化项目和全国105家新筛实验室新筛指标患者数据中位数进行实验室间比对[6]。我国卫生行业标准WS/T 641-2018《临床检验定量测定室内质量控制》中指出可以采用患者数据中位数进行实验质量、可比性、稳定性以及变异来源的监测[7]。以上成果表明将PBRTQC应用于仪器间比对具有着广阔的应用前景。

本研究基于AI的PBRTQC专业智能软件平台，采用PBRTQC的EWMA算法进行实验室内2台生化分析仪间CREA定量结果一致性比对，并与PBRTQC的中位数法及CLSI EP15A2新鲜血比对法进行比较，旨在评价使用基于AI的PBRTQC在临床实验室内生化仪器间比对中的应用价值，为实验室提供方便、高效的仪器间检验结果一致性及偏倚评估的实时比对及监控方案。

一、研究对象与方法

（一）研究对象

1. 患者数据收集：在实验室本地服务器安装部署PBRTQC智能监控平台，自动采集2021年7月7日-2022年6月18日广州市第一人民医院所有门诊及住院患者血清肌酐检测结果。所提取的数据均严格遵循相关法律法规及IFCC PBRTQC建议要求去除患者信息标识。

2. 仪器和试剂及软件平台：美国贝克曼库尔特公司AU5831全自动生化分析仪（主序列号：2015122528）为参比仪器，AU5821全自动生化分析仪（主序列号：2020125569）为比较仪器。肌酐（批号：1151）检测试剂和校准品（批号：1123）均为贝克曼库尔特公司生产。多浓度水平质控品（批号：26480）来自美国伯乐公司。

PBRTQC智能监控平台：基于AI的患者数据实时质量控制智能监控平台（AI-Moving average intelligent monitoring platform，AI-MA）(上海森栩医学科技有限公司）。与实验室信息管理系统（Laboratory Information System，LIS）（广州创惠信息科技有限公司）直接对接进行数据采集。

3. 实验条件：按照本实验室作业指导书的要求依照ISO15189质量管理体系执行室内质控、校准和仪器维护保养等；当每日室内质控结果在控后，方可检测相应项目标本。

（二）研究方法

1. PBRTQC程序建立和性能验证及最优方法选择：使用PBRTQC智能监控平台进行患者数据分布检验、参数设置、程序建立、性能验证及实时运行。PBRTQC运算程序设置关键点包括纳入/排除标准、运算公式、质量目标、权重因子、质控规则、性能验证、最优PBRTQC方法选择、效能评价、实施运行等。EWMA法计算公式：，其中为第t+1点的估计值，为第t点的估计值，Zt为第t点的实际测量值，λ为加权系数，0＜λ≤1。

2. 比对方案：（1）比对浓度选择：依据中华人民共和国卫生行业标准WS/T 407-2012《医疗机构内定量检验结果的可比性验证指南》中可比性验证的样本选择浓度要求及实验室内患者肌酐定量的数据分布，利用AI-MA数据平台进行患者数据分布特征的分析，选择数据分布较为集中以及处于医学决定水平附近的5个浓度范围作为比对所用的浓度截断区间。（2）比对方案实施：收集50份病人标本，其浓度水平均匀覆盖方法的整个线性范围，用实验仪器（AU5821）和比较仪器（AU5831）以常规操作在2小时内完成肌酐检测，得到100个肌酐新鲜血比对数据。并分别在两台检测系统间测定质控品、校准品结果。①将100个肌酐新鲜血比对数据以及收集的2021年7月7日-2022年6月18日血清肌酐检测结果数据导入AI-MA患者数据质量控制智能监控平台，以2021年7月7日至2022年6月1日作为EWMA法的训练集。计算两台仪器肌酐100个新鲜标本定量结果的EWMA累积均值、中位数，计算EWMA法、中位数法、质控品法、校准品法及新鲜标本比对法所得各仪器相较于比较仪器的相对偏倚（Bias%），以此进行EWMA法及中位数法、质控品法、校准品法及新鲜标本比对方法不同浓度范围仪器间比对分析及可比性分析。②依照EP15A2文件的要求，在AI-MA平台中将100个新鲜标本比对数据与当天患者数据进行实时比较分析并分别引入10.2%正偏倚人工系统误差，计算新鲜标本结果在实验仪器与比较仪器结果之间的相对偏倚（Bias）、差值标准差（SDdiff）、置信区间和偏倚验证值，计算患者数据EWMA法、中位数法偏倚，将偏倚结果与行业标准/生物学变异允许的偏倚质量目标进行比较，判断在引入误差前后患者数据EWMA法、中位数法与新鲜标本三种比对方法之间的可比性。

（三）统计学分析方法

1. 偏倚结果的计算：（1）新鲜标本方法学比对偏倚的统计学方法依据CLSI EP15A2文件：平均偏倚b=实验方法结果均值-比对方法结果均值；相对偏倚%b=（实验方法结果-比对方法结果）／比对方法结果×100％，平均偏倚b=；平均偏倚的百分比%b=。（2）校准品及质控品方法学比对偏倚的统计学方法：仪器间比对相对偏倚Bias%=（实验仪器结果-比较仪器结果）/比较仪器结果×100%。（3）PBRTQC方法学比对偏倚的统计学方法：仪器间比对相对偏倚Bias%=（实验仪器EWMA均值-比较仪器EWMA均值）/比较仪器EWMA均值×100%。

2. 新鲜标本比对合适范围的检验方法：通过相关系数r，来评价引入10.2%人工误差前后比较仪器纳入数据范围是否合适。若r≥0.975，则认为x值取值范围合适，直线回归统计的斜率及截距可靠。若r≤0.975，则需分析更多样品，扩大数据范围，再重新分析全部数据。

3. 线性回归：分别绘制肌酐引入10.2%人工误差前后两台检测系统的散点图比较，目测评价，显示回归方程Y=aX+b，并计算截距、斜率。

4. 计算比对项目引入10.2%人工误差前后两台检测系统的新鲜标本检测结果之间的百分比偏倚，绘制百分比偏倚与比较系统检测结果之间的百分比偏倚散点图，计算实验仪器及比较仪器置信区间和偏倚验证值。偏倚验证值=。

（四）判断标准

1. PBRTQC最佳程序性能验证及质控效能评价：EWMA方法Z分数质控图中报警数据与质量事件相符合，患者数据结果分布相对稳定呈正态分布，性能满足误差检出概率＞90%和假报警率＜5%为最优PBRTQC程序。

2. 仪器间比对可接受标准：CLSI EP15A2新鲜标本方法学比对的可接受标准结果判断：相对偏倚小于等于实验室的质量要求或者小于等于偏倚验证值，则比对通过。CLSI EP15A2新鲜标本方法学比对、质控品、校准品仪器间偏倚以中华人民共和国卫生行业标准WS/T 403-2012临床生物化学检验常规项目分析质量要求（≤±5.50%）；PBRTQC的EWMA法和中位数法仪器间偏倚以生物学变异（≤±3.40%）为判断标准。

3. 方法间比较的一致性评价：两种方法所得仪器间偏倚分别与WS/T 403-2012要求的允许范围比较，若均能通过且趋势基本一致，则认为两种方法在判断仪器间结果一致性上具有同等的效能。

二、研究结果

1. 基于不同医学决定水平患者群体PBRTQC的EWMA法、中位数法与CISI EP15A2新鲜标本方法学比对效能比较AI-MA智能监控平台可对实验室内仪器间患者数据进行实时连续比对且给予操作者直观明了的显示结果，如图1。

图1. AI-MA智能监控平台EWMA法所得实验室内仪器间比对结果实例

在2022年6月18日进行患者数据、质控品、校准品和新鲜血比对，结果显示，无论是采用EP15A2对5个不同肌酐浓度新鲜血，还是采用不同浓度质控品/商品化校准品进行比对仪器和参比仪器之间的比对，相对偏倚均在允许范围内，与EWMA法相一致，但中位数法显示在18-48，50-93两个浓度范围比对仪器与参考仪器之间偏倚超过了允许范围，见表1。

表1. 5种方法比较不同仪器间肌酐比对偏倚结果

2. 引入10.2%人工误差前后仪器间比对结果线性回归分析：从患者实时数据中每个浓度随机挑选10个标本进行比对。X轴代表比对方法检测结果，Y轴代表实验方法检测结果。从图2.2a和图2.2b可见两方法间呈线性关系，经实验数据统计，引入10.2%人工误差前计算得到r=0.990，＞0.975，证实纳入的浓度数据范围足够宽，回归方程的斜率及截距可靠，经简单直线回归计算得线性方程为Y=1.02X+1.22，斜率接近1，截距接近0，表明引入人工误差前两台检测系统的检测结果具有可比性。引入10.2%人工误差后计算得到r=0.981，＞0.975，纳入的浓度数据范围可靠，经直线回归计算得线性方程为Y=1.06X+20.99，虽斜率接近1，但截距远大于0，表明引入人工误差后两台检测系统的检测结果不具有可比性。

图2. 2a 引入10.2%系统误差前新鲜标本方法学比对散点图

图2. 2b 引入系统误差后新鲜标本方法学比对散点图

3. 引入10.2%人工误差前后仪器间比对百分比偏倚散点图：引入10.2%人工误差前后仪器间比对结果线性回归分析百分比偏倚散点图见图2.3a及2.3b，X轴代表比对方法的检测结果，Y轴代表两种方法检测结果的百分比偏倚。按照判定标准，肌酐项目在引入10.2%人工误差前，两台检测系统之间的百分比偏倚在WS/T 403-2012要求的允许范围（≤±5.50%），偏倚验证值在计算置信区间内，比对结果全部通过，两台检测系统的检测结果具有可比性。引入10.2%人工误差后，两台检测系统之间的百分比偏倚超出WS/T 403-2012要求的允许范围（≤±5.50%），偏倚验证值在计算置信区间外，两台检测系统的检测结果不具有可比性。

图2. 3a 未引入系统误差前新鲜标本方法学比对百分比偏倚散点图

图2. 3b 引入系统误差后新鲜标本方法学比对百分比偏倚散点图

4. 基于患者EWMA数据与新鲜血比对数据于人工引入10.2%正偏倚误差后的仪器间偏差结果比对在引入误差前，EWMA法和新鲜标本比对方法在两台仪器间比对相对偏倚均在允许范围内，两台检测系统检测结果具有可比性。引入10.2%人工误差后，EWMA方法与新鲜标本比对方法的相对偏倚超出允许范围，且趋势均一致，两台检测系统检测结果不具有可比性。引入人工误差前后EWMA法和新鲜标本比对方法的比对效能一致，但是中位数法所计算的仪器间比对相对偏倚方向及效能与EWMA法及新鲜标本比对方法不一致，见表2。从AI-MA智能监控平台可直观明了的显示人工误差引入前后系统的报警情况和比对结果（图2.4a-图2.4e）。

表2. 引入人工误差前后不同方法比较不同仪器间肌酐比对偏倚结果

图2.4a AU5821仪器检测结果引入系统误差后 EWMA图预警情况

图2.4b CREA 475-645引入10.2%正偏倚前的EWMA均值柱状图比对结果

图2.4c CREA 475-645引入10.2%正偏倚后的EWMA均值柱状图比对结果

图2.4d CREA 475-645引入10.2%正偏倚前的EWMA CV柱状图比对结果

图2.4e CREA 475-645引入10.2%正偏倚后的EWMA CV柱状图比对结果

三、分析与讨论

目前，临床实验室通常通过每日进行室内质量控制、按期参加室间质评及定期进行新鲜血样本比对来保证实验室内不同仪器间结果一致性。无论哪种方案，都存在瞬时性的缺点，一旦发生系统误差难以立即发现。因此，建立一种更高效、经济、便捷的实验室内仪器间实时比对的方案十分必要。本研究选择了不同浓度区间标本使用EP15A2方案进行比对并与PBRTQC中的经典方法中位数法和EWMA法进行了比较分析，结果显示无论是正常检测还是引入人工误差，EWMA法比对结果和新鲜血比对结果均高度一致，效能优于中位数法。本研究结果提示EWMA法可以作为室内质控的补充，对实验室内不同生化分析仪间结果一致性进行持续有效的监测。

加权移动平均法，是对观察值分别给予不同的权数，按不同权数求得移动平均值，并以最后的移动平均值为基础，确定预测值的方法。采用加权移动平均法，是因为观察期的近期观察值对预测值有较大影响，它更能反映近期变化的趋势。EWMA法是指各数值的加权系数随时间呈指数式递减，越靠近当前时刻的数值加权系数就越大，主要用于侦测流程的微小偏倚，但是将其应用于仪器间/实验室间生化定量项目比对目前尚未见报道[8]。本研究基于患者大数据，采用5种方法分别计算仪器间比对偏倚，结果显示，无论是采用EP15A2对5个不同肌酐浓度新鲜血，还是采用不同浓度质控品/商品化校准品进行比对仪器和参比仪器之间的比对，相对偏倚均在允许范围内，且趋势与EWMA法相一致，显示仪器间结果一致性良好；但中位数法显示在18-48，50-93两个浓度范围比对仪器与参考仪器之间偏倚超过了允许范围，主要原因是标本量少，受患者个体间差异影响较大，因而在监测仪器间结果一致性过程中易出现更多的假报警，数据效能减弱，这与章晓燕、Kenneth Goossens等的研究报道一致[5, 9]。我们的研究结果同时证实了EWMA法受患者人群变异影响较小，即使标本量较少，也能实时、连续监控不同检测系统结果之间的可比性，表明EWMA法在中小型实验室也有广阔的应用前景。

选择合适的评价指标来衡量模型的优劣也是建立PBRTQC模型的关键。本研究借鉴国内外相关文献针对不同的比对方法使用了相应的可接受标准。CLSI EP15A2新鲜标本方法学比对、质控品、校准品仪器间偏倚依据中华人民共和国卫生行业标准WS/T 403-2012临床生物化学检验常规项目分析质量要求（≤±5.50%）。PBRTQC的EWMA法和中位数法仪器间偏倚以生物学变异（≤±3.40%）为判断标准。与Kenneth Goossens在使用2倍生物学变异标准作为中位数法进行仪器间比对监测分析指标不同的是，我们使用的是单倍生物学变异，主要的原因是我们是在同一品牌的检测系统之间进行比较，而Kenneth Goossens的研究是在多个品牌的检测系统之间进行[5]。

本研究使用了IFCC推荐方法之一的人工引入误差模型来反向证明PBRTQC在不同仪器间比对的应用价值，我们通过在AI-MI智能监控平台人工引入2倍生物学变异误差进行模型验证，然后在此基础上将所得报警或失控结果，与真实世界质量事件误差结果进行对比验证。本研究的方案不足之处在于，未制造出真实的误差来反向证明PBRTQC在不同仪器间比对的应用价值，真实世界的误差来源往往更加错综复杂，未来我们将进一步验证。

患者数据质量控制法自1965年由Hoffman和Waid提出至今已经有大半个世纪，其在不同规模实验室的临床研究和成功实施证明其是一种很有应用价值和前景的质量管理新工具，国际临床化学和检验医学联合会（IFCC）下设的分析质量委员会于2020年发表的指导文件建议将PBRTQC广泛应用于临床，但是由于PBRTQC方法建立过程比较复杂且缺乏权威清晰的应用指南，目前PBRTQC尚未得到广泛应用[10-12]。本研究将PBRTQC中的EWMA法应用于实验室内不同仪器间比对，结果表明EWMA法可以有效识别标本检测过程中风险点，其用于生化不同仪器间同一项目结果可比性的效能与新鲜标本比对法相当并优于中位数法。通过该方法的应用，可实现实验室内不同仪器间相同项目结果一致性的实时比对、智能分析和智能预警，有力保证不同仪器间检验结果的准确性及一致性，降低实验室质量风险，未来该方法也可应用于实验室间检验结果互认。

参考文献

冯磊, 年士艳, 徐文波, 张大莲, 张兴锋, 毛星星, 罗曼玲. 运用EP15-A2对不同生化检测系统进行结果比对[J]. 医疗装备, 2012, 25(04): 16-19.

卫生部临床检验标准专业委员会. "医疗机构内定量检验结果的可比性验证指南." WS/T 407-2012. 2012-12-25.

中国合格评定国家认可委员会. CNAS-CL02医学实验室质量和能力认可准则[S]. 北京: 中国标准出版社, 2019.

温冬梅, 郝晓柯. 基于患者数据的实时质量控制建立原则及研究进展[J]. 中华检验医学杂志, 2022, 45(1) : 82-86.

Kenneth G, Katleen Van U, Patrick JT, et al. Monitoring laboratory data across manufacturers and laboratories‐‐a prerequisite to make "Big Data" work[J]. Clin Chim Acta, 2015, 445: 12‐18. DOI: 10.1016/j.cca.2015.03.003.

章晓燕, 临床检验定量测定项目患者数据实验室间对比和监测平台的开发与应用[D]. 北京: 北京协和医学院. 2017.

中华人民共和国国家卫生健康委员会. WS/T641-2018临床检验定量测定室内质量控制指南[S]. 北京: 中国标准出版社, 2018.

Sukparungsee S, Areepong Y, Taboran R. Exponentially weighted moving average-Moving average charts for monitoring the process mean. PLoS One. 2020 Feb 14; 15(2): e0228208. doi: 10.1371/journal.pone.0228208.

章晓燕, 王薇, 赵海建, 王治国. 用患者数据中位数评估和监测临床检验指标可比性和稳定性[J]. 临床检验杂志, 2016, 34(07): 599601. DOI:10.13602/j.cnki.jcls. 2016. 07.17.

Hoffmann RG, Waid ME. The "average of normals" method of quality control[J]. Am J Clin Pathol, 1965, 43(10):134-141. DOI: 10.1093/ajcp/43.2.134.

Loh TP, Cervinski MA, Katayev A, et al. Recommendations for laboratory informatics specificationsneeded for the application of patient-based real time quality control[J]. Clin Chim Acta, 2019, 495: 625-629.

段昕岑, 王蓓丽, 潘柏申, 等. 基于患者样本的实时质量控制系统的理论基础和研究展望[J]. 中华检验医学杂志, 2021, 44(10): 956-959. DOI: 10.3760 /cma. j.cn114452-20201117-00841.