标准化西格玛性能验证图 在常规化学检测项目性能评价中应注意的事项

作者:李婷婷 王治国 11312
2021-12-16

西格玛(σ)在数理统计中表示“标准差”,用来表征任意一组数据或过程输出结果的离散程度,其水平越高,过程满足顾客要求的能力就越强[1]。6σ管理最早用于工业管理,在检验医学中的应用最早由国外学者Nevalainen提出,将实验室差错或缺陷率转化为σ水平进行评价和管理,6σ质量水平意味着100万次机会中有3.4次缺陷的可能,或者也可由公式σ=(TEa-|Bias|)/CV计算获得,其中TEa为允许总误差(%),Bias为偏倚(%),CV为变异系数(%)。公式中的分子和分母同时除以TEa则可得到σ=(1-|Bias|/TEa)/(CV/TEa),然后以|Bias|/TEa为纵坐标,CV/TEa为横坐标,即得到标准化西格玛性能验证图。在标准化西格玛性能验证图中由于横坐标和纵坐标都通过除以TEa进行了标准化,所以即使不同的检测项目具有不同的允许总误差,也能在同一张西格玛性能验证图上展示各自的检测性能。但是要想利用标准化西格玛性能验证图对常规化学检测项目性能进行准确适当地评价,在图中正确找到特定项目性能所对应的操作点是关键,即确定操作点的横坐标(CV/TEa)和纵坐标(|Bias|/TEa)。所以最主要的问题是如何准确地获得待评价方法的CV和Bias,本文将着重阐述应用西格玛性能验证图评价常规化学检测项目性能时的注意事项。



1、西格玛性能验证图的绘制



使用检验医学信息网开发的软件(http://www.clinet.com.cn/sigmapv/),将固定格式的允许总误差、偏倚和变异系数数据导入软件中,绘制西格玛性能验证图,图1为西格玛性能验证图范例。图中斜线划分的区域从右上到左下依次代表“σ<2(不可接受)”、“2≤σ<3(欠佳)”、“3≤σ<4(临界)”、“4≤σ<5(良好)”、“5≤σ<6(优秀)”和“σ≥6(世界一流)”。如图中的绿色点代表的检验项目的性能属于“世界一流”,而红色点代表的检验项目的性能是“不可接受”。实验室在实际操作时只需要输入项目名称、允许总误差、CV和偏倚,或者导入固定格式的Excel数据表格,软件自动计算结果并在图上标出该项目的西格玛性能水平,操作简单,结果直观。由于西格玛性能验证图的横坐标为CV/TEa,纵坐标为Bias/TEa,所以对于允许总误差不相同的不同的检验项目能在同一张图上显示其西格玛性能水平。此外西格玛性能验证图还可以在同一张图上显示多个实验室的西格玛性能水平,可以直观地获得各实验室西格玛水平的分布情况。


使用检验医学网开发的软件制作标准化的西格玛性能验证图的具体步骤为只要您有CLInet账号(包括EQA账号,即实验室编码),均可以使用本功能,没有账号的用户需要注册一个用户。在检验医学信息网首页(http://www.clinet.com.cn)点击“六西格玛管理”菜单,以EQA账号登录,进入EQA主界面,再点击“标准化的西格玛性能验证”菜单即可进入如图1所示界面。如果您的基本信息是空的,请先把基本信息设置一下,然后点击“保存”按钮。在“项目添加”栏目,分别填写“项目名称”, “允许总误差(TEa)”,“不精密度(CV)”,“偏倚(Bias)”,然后点击“添加”按钮。添加之后,此项目的信息会在左侧表格中显示,并且在右侧性能验证图中绘制本项目对应的圆点,如果您填写的数值超出了图形所能表示的范围,那么绘制的圆点将会被“红叉”所取代。当您的项目都添加完成后,请点击“打印”按钮,打印出的报表如图2所示。 


图1-标准化西格玛的性能验证图制作界面.jpg

图1. 标准化西格玛的性能验证图制作界面

图2-标准化西格玛性能验证图报表.jpg

图2. 标准化西格玛性能验证图报表


2. 西格玛性能验证图的应用



2016年10月28日贵州省人民医院成为中国第一家完成Westgard西格玛性能验证的实验室,其完成验证的项目包括:白蛋白、碱性磷酸酶、淀粉酶、AST、C4、钙、氯、胆固醇、高密度脂蛋白、总胆固醇、肌酸激酶、C反应蛋白、γ谷氨酰转移酶、葡萄糖、IgA、铁、乳酸脱氢酶、镁、磷、钾、蛋白质、总甘油三酸酯、尿素氮、尿酸24个项目,如图3所示[2]。


2016年11月17日中山医院成为中国第二家完成Westgard西格玛性能验证的实验室,其完成验证的项目包括:碱性磷酸酶、ALT、淀粉酶、AST、直接胆红素、总胆红素、钙、高密度胆固醇、低密度

图3-贵州省人民医院的西格玛性能验证图(24个项目).jpg

图3  贵州省人民医院的西格玛性能验证图(24个项目)

图4-中山医院的西格玛性能验证图(20个项目).jpg

图4. 中山医院的西格玛性能验证图(20个项目)

胆固醇、总胆固醇、肌酸激酶、γ谷氨酰转移酶、葡萄糖、铁、乳酸脱氢酶、脂肪酶、镁、钾、甘油三酸酯、尿酸20个项目, 如图4所示[3]。


从图2和图3可以看出贵州省人民医院的24个项目中只有2个项目的检测方法的性能为“良好”,其余22个项目均为“世界一流”;中山医院的20个项目中有2个项目的检测方法性能为“良好”,2个项目为“优秀”,其余16个项目为“世界一流”。


检验医学信息网开发的标准化西格玛性能验证软件也应用于全国各地实验室,但实验室在应用开发的或其他组织开发的软件进行自我评价时,最主要的也是最关键的环节是偏倚(Bias%)和不精密度(CV%)的确定,当然选择合适的允许总误差(TEa%)也很重要。不合适的TEa以及观察到的不精密度和偏倚并不是实验室的真实情况,都将导致不准确的σ值,最终导致错误的评估方法的性能。



3. 标准化西格玛验证图应用于常规化学检测项目


性能评价的注意事项


标准化西格玛性能验证图的绘制较简单,但是其参数(TEa%、CV%和Bias%)的确定却不是那么容易,每一个参数都要做出一些选择。最终,许多计算都是针对实验室自身环境的。质量要求的选择也可能受到监管和认可环境的强烈影响。偏倚的计算取决于医疗机构中存在什么样其他方法。下面将对这三个参数进行具体的阐述。


3.1   TEa的确定

3.1.1   临床检验定量项目性能规范制定

在现代临床实验室中,设定合适的性能规范是质量管理中的必要前提条件。多年来,全球各地的检验医学专家们就性能规范的设定策略这一话题进行了诸多讨论并提出建议。1999年斯德哥尔摩会议提出了质量规范设定策略的等级结构,并受到了广泛认可。该等级结构主要依据设定策略与临床需求的密切程度进行排序,分为以下5个等级,包括:①通过评估在特定临床环境下分析性能对临床结果的影响而设定质量规范;②通过评估在一般使用情况下分析性能对临床决策的影响而设定质量规范(基于生物学变异组分的数据或基于临床医生观点的分析结果)③发表的专业建议提出的质量规范(来自国际和国家的专家团体或来自本地的专家组或个人)④由下列机构设定质量规范(监管机构或EQA 计划组织者)⑤基于当前技术水平设定质量规范(来自EQA 计划或PT 试验的数据或来自目前发表的方法学评价结果)。高等级(序号较小) 优先于低等级然而随着检验医学的不断发展,性能规范的设定策略也在持续改进和更新。


2014年米兰会议重新讨论和评估了性能规范的设定策略,调整和简化了斯德哥尔摩等级结构,并将性能规范的设定从检验中阶段扩展到检验全过程( 包括检验前和检验后阶段)。简化的性能规范包括3种设定模式包括:①模式一为基于分析性能对临床结果的影响而设定性能规范;②模式二为基于被测量的生物学变异组分而设定性能规范;③模式三为基于当前技术水平而设定性能规范,该模式涉及到当前技术可以实现的分析性能最高水平,或者也可以定义为一定百分比的实验室能达到的分析性能。


3.1.2   不同来源的TEa

TEa是医学检验领域广泛接受的概念,它结合了方法的不精密度(变异系数,CV)和偏倚(Bias)来计算对试验结果的总影响。TEa表示基于患者结果解释没有损害患者医疗的情况下,试验结果中可允许多少结合的不精密度和Bias。常规化学项目检测的TEa的来源很多,包括我国卫生行业标准《临床生物化学检验常规项目分析质量指标》(WS/T 403-2012)、国家标准《临床实验室室间质量评价要求》(GB/T 20470-2006)、生物学变异导出的TEa以及澳大利亚室间质评限,部分生化项目的TEa如表1所示[4、5]。从表1中可看出不同来源的TEa相差较大,有些标准较严格,有些较宽松。根据西格玛计算公式以及标准化西格玛性能验证图绘制的原理,最终将导致实验室观察到的方法性能不同。很显然较严格的允许总误差性能规范(TEa较小)将得出更小的西格玛,也就是较差的性能。我国国家标准GB/T 20470-2006是参考美国临床实验室改进修正案(CLIA’88)制定的,国家标准中的允许总误差(TEa)质量规范在我国已使用多年,是基于可达到的标准而不是适当的标准,处于质量规范层级模式的较低级,因此设定的允许总误差标准较宽,所以得到的σ普遍较高。这样就会评估试验分析性能为好,优秀,甚至世界级。这些都是很危险的,因为临床实验室常规检测分析性能并不是如此乐观,这可能是对试验分析质量虚假的乐观估计。这将导致实验室放松警惕,不再积极寻找实验室需要改进之处并采取改进措施。减少对质控的资源投入,使用简单的质控规则,减少质量控制检测次数,这样实验室的分析质量可能会下降。国内卫生行业标准是基于个体内和个体间生物学变异,同时考虑我国当前可实现的分析质量水平而设定。国内行业标准自发布以来,已逐渐显示其优势,具有很好的应用前景。有行业标准的检验项目其允许总误差应该按照行业标准提供的允许总误差如WS/T 403-2012《临床生物化学检验常规项目分析质量指标》来执行。综上,我国临床实验室应该根据自己的实际情况选用标准,从而更好地提升自身质量。


近几年国内已有相关文献证实应用不同来源的TEa评价常规化学的分析性能,得到结果差异很明显。以Alb为例,张路等的研究表明在偏倚和不精密度相同时,使用生物学变异中的“适当标准”,σ为0.98-1.0;使用CLIA’88的TEa,σ为3.09-3.17;使用我国行业标准和澳大利亚质评限的TEa,σ为1.71和1.67;德国医学实验室定量分析质量评估医学委员会的TEa,σ为6.65-6.82[7]。因此选择不同来源的TEa会得到不同的σ值。为了更好地评价试验性能,临床实验室可以对每个试验匹配适当的允许总误差标准,这样既不会因标准过宽而导致对试验分析质量过于乐观的估计,也不会由于标准过于严苛而给实验室带来不必要的质控负担。


表1. 19个临床常规生化检测项目不同来源的TEa

TEa (%)

表1.png

3.2   不精密度的估计

精密度是在规定条件下,对同一或类似被测量重复测量所得示值或测得值间的一致程度,通常用不精密度来表示,包括标准差或CV。其估计值应尽可能真实的反映实验室日常操作中的性能。厂商经常派出熟练的员工来验证新仪器在实验室安装期间的方法性能,但最好由实验室人员进行精密度试验。这样,不精密度的估计反映真实操作者的能力,而不是临时技术人员的能力。


精密度估计的方法有好几种包括:①测量很长一段时间的常规的、历史的不精密度,有时称为累积变异系数。CLSI C24指南推荐计算累积变异系数要收集3~6个月的常规数据;②实验室内不精密度:通常一个样品每天检测2 批次共检测20 天。CLSI EP5指南规定如何执行实验室内精密度试验和计算实验室内不精密度; ③日内或批间不精密度。每天检测2批,每批1份样品重复10~20次。增加了批次,是对批内不精密度的改进,但过于乐观[6];④批内不精密度,有时称为重复性。通常单个批次1份样品至少重复20次。反应了一个狭窄窗口的实际性能。它不包括方法常规出现的所有来源的变异,所以通常过于乐观。实验室最常用同时也是最易获得的估计不精密度的数据就是室内质控数据,其最能代表实验室总体的不精密度,因此也是估计精密度的最佳的方法。当实验室不能获得室内质控数据用于不精密度估计时,可以用方法学评价的数据来代替,而方法学评价中室内不精密度最能代表实验室总体不精密度,因此是第二优先考虑的方法。而方法学评价获得的日内或批间不精密度和批内不精密度只能代表实验室很短时间的不精密度,对实验室总体不精密度的代表性不强,是等级最低的方法。此外,检验项目不同浓度水平下估计的不精密度水平还不一样,这时不同的CV将如何处理,是进行合成,还是分别利用不同的CV来计算西格玛等都值得研究。


实验室在确定CV时,会因选择不精密度估计的方法不同而导致CV有差异,由于CV是σ计算公式中分母,其较小的差异将导致σ较大的变化,因此CV是影响σ值的关键参数。长期的质量控制数据可以确保更加稳定的不精密度估计值,如超过6个月或1年,其CV是更典型的长期分析质量变异的代表。使用短期计算的不精密度值可能导致更乐观的估计及较高的σ值。


3.3   偏倚的估计

偏倚是系统测量误差的估计值,是检验结果正确度指标,指同一实验室用同种方法多次独立检验分析同一样本所得结果的均值与靶值之间的差异。偏倚的来源根据优先级降序排列有以下几种:①最高层次是与参考方法进行比对或测量有证具有互换性的标准物质,试验方法的结果减去比对或参考方法确定的“真值”。用参考方法确定偏倚时,我们计算试验结果离真值有多远;②测定具有溯源性的正确度验证品或参加正确度验证计划;正确度验证方案是测量具有指定值的参考物质,包括具有互换性的有证参考物质和具有溯源性的正确度验证物质,或者使用患者样品与首选参考方法的比较方法进行比较获得[7]。③与常规方法比较。由于参考方法的获得具有一定的限制性,目前在临床实验室比较方法多采用已得到临床验证的常规方法,此种方案得出的是两种常规方法之间的系统误差,也不是“真实”的“偏倚”。④常规室间质量评价计划(通常都是单次测量)。许多分析物没有参考方法,则使用所有方法均值确定偏差(百分差值)( 实际不是“偏倚”) ,测量的是某个实验室结果(通常都是单次测量)与大多数其他实验室结果之间的差异,并不代表“真实”的偏倚,因为所有实验室方法可能在相同方向上存在偏倚。这种方法由于质控样品互换性未知,结果由实验室单次测定获得,且靶值为实验室共议值,所以获得的差值具有一定的局限性。上述这些方案中只有①和②得出的是“真实”的偏倚,而其他方案均不是。因此选用不同的偏倚估计方法,所计算的σ度量肯定不一样,最终导致获得不适当的方法性能。



4. 总结



西格玛性能验证图的绘制可通过软件比较容易的实现,随后只需按照软件预先规定的输入格式将相关参数,包括检测项目方法的偏倚(Bias%)和不精密度(CV%),输入软件中就能直观地获得待检验项目方法的性能。因此西格玛性能验证图在常规化学检测项目性能验证中的应用关键在于正确适当地确定方法的偏倚和不精密度。


参考文献

[1] 肖亚玲等, 西格玛性能验证图在常规化学检测项目性能评价中的应用. 现代检验医学杂志, 2016. 31(4): 第159-162页.

[2] Guizhou Provincial People’s Hospital - Sigma Verification of Performance. https://www.westgard.com/sigma-vp-guizhou.htm. Accessed December 28, 2016

[3] Zhongshan Hospital - Sigma Verification of Performance. https://www.westgard.com/sigma-vp-zhongshan.htm. Accessed December 28, 2016

[4] GB/T 20470-2006. 临床实验室室间质量评价要求[S]. 中华人民共和国国家质量监督检验检疫总局,中国国家标准化管理委员会,2006.

[5] 中华人民共和国卫生部. WS/T 403-2012. 临床生物化学检验常规项目分析质量指标( S). 北京:中国标准出版社,2013.

[6] 王治国.临床检验方法确认与性能验证[M]. 北京:人民卫生出版社,2009.

[7] 张路, 王薇, 王治国. 允许总误差在西格玛度量用于评价临床化学检测项目分析质量上的应用研究[J]. 检验医学, 2015(09):953-957.