临床化学自建检测系统性能确认: 精密度、正确度和准确度

作者:张秀明 范勇利 温冬梅 萧金丽 阚丽娟
2021-12-16

精密度、正确度和准确度是检验程序重要的分析性能。国外的临床化学检验多采用配套检测系统,即分析仪器、校准品和试剂形成固定组合,由同一厂商生产并经FDA批准后用于临床检测。而国内大多数实验室出于方便、经济和实用等原因均采用自建检测系统,即分析仪器、校准品和试剂分别由不同厂商生产,FDA批准后用于临床检测,实验室可根据需要自由形成组合。关于配套检测系统的性能验证本文作者已有详述[1]。对于自建检测系统,我国临床实验室管理办法和ISO15189:2012[2]均要求实验室应对检验程序的性能进行确认,证实其满足预期用途后方可用于临床检测。但对临床化学自建检测系统性能确认的具体实验方法国内尚未达成共识,本文对自建检测系统测定血清肌酸激酶(CK)的精密度、正确度和准确度性能进行确认,并评价不同方法的有效性,旨在为临床化学自建检测系统的分析性能确认提供参考。



材料和方法



1.仪器和试剂  (1)实验该法(自建检测系统):仪器为西门子ADVIA 2400自动生化分析仪,试剂为四川迈克公司生产的CK测定试剂盒(批号为0915051),方法为IFCC推荐的血清酶学方法,校准品为Roche CAFS校准品(批号为181885-03),标示值为371U/L。(2)参考方法:HITACHI U-3310紫外分光光度计,Hamilton ML 540B稀释配液仪,Eppendorf Research移液器一组。该法经国际检验医学溯源联合委员会(JCTLM)和中国合格评定国家认可委员会ISO17025校准实验室和ISO15195参考实验室认可。


2.实验样品  (1)精密度实验样品:3个水平 BioRad质控品和3个水平新鲜血清样品,分管冷冻保存。浓度接近参考区间(男50~310U/L,女40~200U/L)[3]上限和下限以及医学决定水平(MDL)处(60U/L、200U/L和1500U/L)[4]。(2)能力验证(PT)定值样品:卫计委临检中心2015年第三季度发放的PT样品,编号分别为201531、201532、201533、201534、201535,靶值分别为657U/L、259U/L、432U/L、719U、L和122U/L。(3)参考方法定值样品:在分析测量范围内选择高、中、低5个样品,用参考方法每个样品重复测量3次,计算均值即为“定值”[5]。(6)实验方法与参考方法比对样品:无溶血、脂血和黄疸的新鲜血清样品40份,浓度覆盖分析测量范围(AMR),参考区间内的样品约占25%,参考区间外的样品约占75%。


3.精密度实验  (1)批内精密度(重复性)实验[5-7]:5个实验样品各分成20管,随机插入病人样本中,重复测定20次,2h内完成;(2)室内精密度(总精密度)实验[5-8]:5个实验样品各分成20管,每天测定1次,连续20天。全部实验过程均有常规质量控制,在控时检测实验样品,计算20次测量结果的均值、标准差和CV,以我国卫生行业标准制定的质量指标(允许总误差TEa≤15%)[9]为依据,批内CV≤1/4TEa(3.75%),室内CV≤5.5%,精密度性能得到确认。同时参考美国临床实验室法规(CLIA)规定的TEa(30%)。


4.正确度实验  正确度确认实验流程如图1。先用 5个定值PT样品进行正确度初步评价,每个样品测量1次,计算5个样品与靶值之间的平均偏移,若≤5.5%(卫生行业标准)[9]初步评价通过,直接进行正确度确认;若不通过则按图1进行校准,初步评价通过后再进行正确度确认。正确度确认按以下三种方法进行:(1)检测2015年卫计委临检中心发放的PT样品5份,每个样品重复做3次,计算每个样品重复测量的均值与靶值的相对偏移[10];(2)检测经参考方法定值的新鲜血清样品3份,每个样品重复做3次,计算每个样品重复测量的均值与参考方法测定值的相对偏移[5,10];(3)参考CLSI EP9-A3方案[11],同时用实验方法和参考方法同时检测40份新鲜样品,每天做10个样品,每个样品只做1次,连续4天。以参考方法结果为横座标,实验方法为纵座标,绘制散点图,计算回归方程,计算参考区间两端和医学决定水平处的相对偏移。(4)正确度的质量要求:偏移≤5.5%正确度得到确认。5.5%为卫生行业标准规定的质量要求,级别为优等[9]。

QQ截图20170621145937.jpg

图1 正确度确认实验流程

5.准确度评价  以正确度为纵坐标,最大值为偏移=TEa;精密度为横坐标,CV最大值=1/2TEa,绘制方法性能决定图(见图3)[12]。在图中分别从X轴的1/4TEa、1/3 TEa和1/2TEa与Y轴的TEa划3条直线将图分成性能优秀区、良好区、临界区和不合格区。以精密度实验样品浓度接近医学决定水平时的日间CV分别横坐标,在医学决定水平处实验方法与参考方法的相对偏移为纵坐标,将二者结合在一起即为操作性能点,点画在方法性能决定图上,根据操作性能点的位置判断实验方法的准确度性能。计算医学决定水平浓度处的实验总误差(TE),TE=偏移+2CV;并评价准确度的西格玛(∑)水平,∑=(TEa-偏移)/CV[13]。



结  果



1.精密度实验结果  5个样品的精密度实验结果见表1。从表1可以看出,无论是质控品还是新鲜血清,批内CV和室内CV均小于行标规定的最佳精密度要求(5.5%),甚至小于1/6行标规定的TEa(15%/6=2.5%);同时也小于1/6 CLIA规定的TEa(30%/6=5.0%)。精密度性能达到了最佳的质量要求。


表1 精密度实验结果(U/L)

QQ截图20170621145624.jpg

2.正确度实验结果  对2015年第3次PT定值样品的测定结果见表2,平均偏移为-8.96%,超过了实验室规定的允许偏移,需采取纠正措施。实验室常规使用的是CFAS校准品,说明书标示的校准值为371U/L,本实验室赋值为350U/L,调整校准品的校准值至382U/L(约升高9%),校准检测系统,重新测定定值PT样品,结果见表2,平均偏移为2.9%,小于允许偏移,正确度初步评价通过。用5份定值PT样品和5份经参考方法定值的新鲜血清样品进行正确度确认,每个样品重复测量3次,测量结果见表3,除1个参考方法定值样品的测定偏移(-5.8%)略高于允许误差外(远低于1/2 CLIA TEa=15%),其余9个样品的平均偏移均小于允许偏移。


表2 定值PT样品校准前后测定结果(U/L)

QQ截图20170621145637.jpg

同时用实验方法和参考方法测定40份新鲜血清样品,经离群值检验未发现离群值,所有数据均可用于统计分析。绘制散点图,计算直线回归方程,结果见图2。将参考区间下限、上限和3个医学决定水平浓度作为X代入回归方程,计算预期值Y和各浓度处的相对偏移(B),结果见表4。除参考区间下限(41U/L)处的相对偏移大于允许误差外,其他水平均符合允许误差要求。


表3 参考方法定值样品测量结果(U/L)

QQ截图20170621145650.jpg


图2 实验方法和参考方法测定结果散点图

QQ截图20170621145700.jpg

3.准确度性能评价 由表1可知,质控物浓度(接近医学决定水平)为82.6U/L、260.0U/L、1326.2U/L时日间CV分别为1.6%、1.5%和0.8%;由表4可知,在医学决定水平60U/L、200U/L和1500U/L处实验方法与参考方法的相对偏移分别为5.5%、3.7%和3.0%。以CV为横坐标,相对偏移为纵坐标,将二者结合在一起点画在方法性能决定图上,实验方法医学决定水平处的分析性能均位于优秀区,见图3。根据接近MDL浓度的室内CV和MDL浓度处的相对偏移,计算出的实验总误差分别为14.2%、10.4%和7.6%,均小于行标规定的15%和CLIA的30%;根据TEa、接近MDL浓度的室内CV和MDL浓度处的相对偏移,计算得出∑层级分别为5.9、7.5和15,均达到了优秀水平。


表4 参考区间两端和医学决定水平处的相对偏移

QQ截图20170621145722.jpg


图3 实验方法的方法学性能决定图 

QQ截图20170621145712.jpg


讨    论


    

检检验程序的分析性能主要包括精密度、正确度、准确度、测量不确定度、可报告范围、分析特异性、分析灵敏度、检出限等[2]。检验程序的分析性能常通过分析仪器、校准品和试剂形成的组合即检测系统而实现,因此,检验程序的分析性能常可理解为检测系统的分析性能。对于配套检测系统或固定组合的检测系统则只需要对厂商声明的主要分析性能如精密度、正确度、可报告范围等进行验证,证实达到厂商声明的性能即可用于临床检测[1]。目前,国内大多数实验室常使用自建检测系统即分析仪器、校准品和试剂分别由不同厂商生产,FDA批准后用于临床检测,实验室可根据需要自由形成组合用于临床检测,按照ISO15189的要求[2]应进行性能确认。但对于方法确认的具体实验方法国内尚存较大争议,本研究对自建检测系统测定CK的精密度、正确度和准确度的性能确认方案进行了探讨并评价不同方案的有效性。


精密度是检验程序最主要的分析性能,精密度达不到质量要求则无法进行其他性能的确认。评价精密度的方案有多种,EP-5A方案主要用于性能确认,EP15-A方案主要用于性能验证。2014年CLSI最新发布了EP5-A3方案[8],该方案的精典方法推荐至少进行2个水平的精密度实验,每个水平每天做2批,每批重复做2次,连续20天,共获得80个数据进行统计分析,可以得出批内精密度(重复性)、批间精密度、日间精密度和室内精密度4个精密度分量,实验操作和统计学处理较为复杂,更适合方法的研究开发者和厂商使用。但对于临床实验室使用的自建检测系统,试剂厂商已有了性能指标,按ISO15189要求需要进行确认,但使用如此复杂和高成本的实验方案显然要求过高。本研究参考Westgard推荐的简易方案[7],并结合国内具体实际[5-6],探讨了简易方案的可行性。本研究用3个水平CK质控物和3个水平新鲜冷冻血清进行精密度实验,每个水平批内和日间各重复测定20次,分别计算均值、标准差和CV,结果显示:批内CV和室内CV均小于行标规定的最佳精密度要求(5.5%),甚至小于1/6行标规定的TEa(15%/6=2.5%);同时也小于1/6 CLIA规定的TEa(30%/6=5.0%),精密度性能达到了最佳的质量要求。简易方案可以得出检验程序的批内精密度和室内精密度,而临床实验室最为关心的是室内精密度[8],室内精密度满足要求,其他的精密度分量一定不会存在问题。


精密度确认试验达到预期要求后方可进行正确度确认。正确度的评价方法也有多种,EP9-A是利用病人样本进行方法学比对和偏倚评估,主要适用于方法的研究开发者和厂商,EP15-A主要适用于临床实验室的正确度验证。2013年CLSI发布的EP9-A3[11]是最标准的正确度评价方案,该方案需要用40份样品进行比对,成本较高,且操作和统计学处理较为复杂,不建议临床实验室常规使用。但对于厂商或有条件的实验室要开发一种新的方法,最好使用EP9-A3与参考方法或经典的方法进行比对和偏倚评估,确定方法的正确度。EP15-A3[10]建议临床实验室用定值参考物质进行正确验证,这里的参考物质是一个广义的概念,包括了有证参考物质、参考方法定值的样品、PT和EQA定值的样品,甚至是经其他方法定值的样品,临床实验室对定值参考物质进行检测,若检测结果在允许误差或不确定度范围内则正确度得到验证。我国卫生行业标准[5]规定用3个定值参考物质进行试剂盒的正确度性能确认。参考EP15-A3和行业标准,我们分别使用了参考方法定值和PT定值的5个样品进行正确度性能确认,浓度涵盖分析测量范围,所得结果与EP9-A3有很好的一致性。实验证明,本实验方案适合于临床实验室的正确度性能确认。建议有条件实验室首先考虑使用有证参考物质,其次是参考方法定值的样品,再次是PT定值的室间质评样品进行正确度确认。只要参加PT的实验室数量足够大,分析物冷冻保存条件下性能稳定,测定PT定值样品进行正确度确认仍不失为一种简便、经济、有效的方法。


本研究利方法性能决定图、西格玛层级和计算总误差三种方法进行准确度性能评价。方法性能决定图用于准确度性能评价最早由Westgard博士报道,本课题组曾使用方法性能决定图对常规化学检验项目的准确度进行评价,临床应用满意[12]。方法决定图的纵坐标代表正确度(偏倚),其最大值为TEa,横坐标为精密度,最大值为1/2TEa,在横坐标的1/2TEa、1/3TEa、1/4TEa分别与纵坐标的最大值TEa划3条直线,将图分成四部分,自下而上依次是性能优秀区、良好区、临界区和不合格区,将检验项目的检测性能点(精密度和正确度的组合)点画在性能决定图上,根据其所在位置可直观地判断检验程序的分析性能。本研究根据PT定值样品、参考方法定值样品测量值的偏移和精密度实验样品室内不精密度实验结果,选择最接近医学决定水平浓度处的CV和偏移确定操作性能点,所有操作性能点均落在优秀区。同时,在医学决定水平处,用西格玛层级表示实验方法的准确度分别为5.9∑、7.5∑和15∑水平,计算得出实验方法的总误差分别为14.2%、10.4%和7.6%,远低于行标规定的TEa[9]和CLIA规定的TEa。以上结果均证实,该实验方法检测CK的准确度性能良好。临床实验室可根据自身实际,选择上述任何一种方法进行准确度性能评价。


值得注意的是,临床实验室在进行方法性能确认前必须明确分析方法的性能目标。ISO15189:2012要求,方法确认应尽可能全面,并通过客观证据(以性能特征形式)证实满足检验预期用途的特定要求[2]。对于临床化学等定量检验,这里的“满足检验预期用途的特定要求”可理解为满足精密度、正确度、准确度等质量指标的要求。分析性能质量指标的设定有多种方法[14],本研究采用了行标规定的CK质量指标(优等)[9],TEa为15%,允许偏倚为5.5%,允许不精密度为5.5%,分析性能达到此要求即可认为能很好的满足临床要求。实验证明,CK在该检测系统上的分析性能完全达到了行标的要求。对于其他的检验项目,实验室可以使用根据生物学变异导出的质量指标、CLIA规定的允许总误差、各行业指南规定的质量要求、PT/EQA组织者规定的TEa等设定实验室的分析性能目标,总之,以满足临床需要为目的。至于自建检测系统其他分析性能指标的确认将另文报道。


参 考 文 献

[1]  张秀明,阚丽娟. 浅析定量检验程序分析性能验证实验方案设计[J].中华检验医学杂志,2015,38(6):428-430.

[2]  中国合格评审国家认可委员会. 医学实验室质量和能力认可准则(ISO 15189:2012,IDT)[s].2013-11-22.

[3]  WS/T 404 7-2015. 临床常用生化检验项目参考区间第7部分:血清乳酸脱氢酶、肌酸激酶.中华人民共和国国家卫生和计划生育委员会.中国标准出版社,2015:1-12.

[4]  张秀明,黄宪章,刘忠民等.临床生化检验诊断学.北京:人民卫生出版社,2012:691.

[5]  GB/T 26124-2011. 临床化学体外诊断试剂(盒).中华人民共和国国家质量监督和检验检疫总局,中国国家标准化管理委员会. 2011-05-12.

[6]  张秀明,黄宪章,刘忠民等.临床生化检验诊断学.北京:人民卫生出版社,2012:501-516.

[7]  Westgard JO. Basic method validation. 3rd ed. Madison WI: Westgard QC Inc, 2008:102-110.

[8] CLSI.Evaluation of precision of quantitative measurement procedures; approved guideline-third edition(EP05-A3)[s]. 2014.

[9]  WS/T 403-2012.临床生物化学检验常规项目分析质量指标.中华人民共和国卫生部. 2012-12-28.

[10] CLSI. User verification of precision and estimation of bias;approved guideline-third edition(EP15-A3)[s]. 2014.

[11] CLSI. Measurement procedure comparison and bias estimation using patient samples; approved guideline- third edition(EP9-A3)[s]. 2013.

[12] 张秀明,郑松柏,孙蕾等.应用Westgard方法评价决定图判断生化检测系统性能的可接受性.中华检验医学杂志,2007,30(1):86-90.

[13] 肖亚玲,王薇,赵海建等.用西格玛性能验证图评价中国血糖检测项目.临床检验杂志,2015,33(3):223-225.

[14] 陈文祥,申子瑜,杨振华.临床检验分析质量指标的设定.中华检验医学杂志,2006,29(4):298-300