教育和监管型室间质量评价与能力验证计划之间的差异

作者:贲文锐
2022-12-14

澳大利亚皇家病理学家学院质量保证项目首席执行官圣文森特医院化学病理学高级专家新南威尔士大学联合副教授弗吉尼亚联邦大学病理学教授,临床化学联合主任,病理信息系统主任意大利米兰大学医学院临床生物化学和临床分子生物学教授兼主任意大利科学院临床病理科检验医学系主任;米兰大学检验医学计量可追溯性研究中心(CIRME)科学协调员Bio-Rad实验室全球科学和专业事务总监挪威实验室检查质量改进组织主任北欧初级保健实验室设备评估委员会主席挪威糖尿病登记处主任挪威卑尔根大学全球卫生和初级卫生保健研究所教授INSTAND e. V董事长德国慕尼黑大学输血医学系教授。)


室间质量评价EQA或能力验证是一种使用外部程序或设施客观评估实验室检测性能的活动,根据预先制定的标准通过实验室间比较的方式评估参与者的检测性能。根据ISO/IEC 17043:2010,EQA提供者以有利于验证真实性的方式向参与者报告调查结果,确定所需的纠正措施并评估先前纠正措施的成功与否。此外,ISO 15189:2012要求实验室“应通过参与外部质量评估来监控其检查方法的性能,以适应检查和结果解释,包括即时检测POCT检查方法”。


需要注意的是,根据基本目的,具有两种不同类型的EQA计划。第一种是监管,由于临床检验结果在医疗保健中的重要性,许多国家或地区要求临床实验室的检测能力达到一个基本的最低标准,而未能达到这些标准可能会对实验室的运营造成严重不利影响。追求“通过”这种类型的EQA,可能会导致意想不到的后果,例如,实验室可能会将EQA样品与患者样本区别对待以确保更准确的检测结果,以至于几乎所有实验室通常都能达到性能标准。另一种类型的EQA被描述为“参照型或教育型”。这些EQA的目的是提高实验室检测的质量,因此并不是所有的实验室在实施时都能达到性能目标。教育计划也可以通过额外的故障排除建议、解释QC和EQA的网络研讨会以及解决EQA中确定检测问题讲习班的形式为参与者提供指导。


EQA程序包括EQA样品、样品检测频率、分析性能规范APS以及如何建立目标值。验证样品应与临床样本具有互换性,涵盖一定范围的浓度并可在EQA周期中重复。当检测系统MS对EQA样本EQAM检测的结果与包含相同分析物浓度的真实患者样本产生的结果相同时,用作EQA样品的EQAM被认为是可互换的。此外,程序中可能会提供样品来测试被测物与溶血、脂血、胆红素或常见干扰物质之间的相互作用。分析性能规范可以根据检测项目数值的生物学变异、临床研究或从参与者结果统计数据SD或z评分来设定。在EQAM可互换的情况下,目标值可以设置为使用参考测量程序或使用所有参与者的平均值或中位数或者在EQAM不可互换的情况下设置为对等组的平均值。


这次讨论是在溯源性教育工作小组和检验医学溯源性联合委员会的主持下进行的。


一、不同的EQA计划的优点和缺点是什么监管vs参照/教育)?


1. Michael Spannagl:在德国,往往同时提供监管和教育型两类EQA计划。关于监管型EQA,50年前德国检验医学和临床化学学术组织决定引入一项强制性计划用于临床实验室的内部和外部质量控制RiliBÄK。从临床化学开始已扩展到检验医学的许多其他领域,涵盖血液学、血栓与止血检测、肿瘤学、免疫学、传染病和分子生物学检测等各种诊断领域。此外,还有一些特殊的应用,如精液检查或新生儿筛查。RiliBÄK的监管系统中严格规定了EQA的参与条件与参与频率。为了更有利于检验技术的进步与推广,需要在先进技术与检验质量目标之间取得平衡并不断调整。在临床化学领域,建立了参考测量程序的概念作为一种评价标准。这样,计量溯源链就直接与临床实验室相连,这里面临的挑战是必须确保EQA样本的可互换性,这意味着在物流和成本方面需要付出很大的努力。德国的监管型EQA也同样具有教育、督促临床实验室改进质量的功用。教育型EQA计划则在RiliBÄK监管体系之外,具有高度的灵活性,可以快速适应目前实验室的需求,为新检测项目的标准化过程提供依据。


2. Andrew Quintenz监管型EQA是为了让实验室证明他们达到了EQA检测的最低质量要求和政府法规的要求。法规可能会提出性能标准,但更有可能规定的是执行EQA的频率、允许的未通过次数、需要EQA分析物的标识和/或授权的EQA提供者。在某些国家可能要求对某些分析物使用特定的EQA样本提供商提供的样本。


(1)优点:监管型EQA确保政府官员意识到临床实验室检测能力上的缺陷,并采取措施防止检测能力有缺陷的实验室提供可能导致患者伤害的不准确结果。


(2)缺点:这种方法只有惩罚没有奖励,实验室可能会格外谨慎地检测EQA样品,而不是完全将其作为普通的患者样本进行检测,从而妨碍实验室获得对其正常质量的真实评估。该计划可能也不会提供额外的统计数据或资源来帮助实验室了解他们在同行中的确切位置以及如何行动以持续改善质量。一个理想的EQA计划通常是为了与实验室合作,提供检测性能的评估、深度报告和工具以帮助提高检验性能。


(3)优点:性能标准的设定目标可能比监管计划(下限)更严格。参加此类EQA计划的实验室通常专注于质量改进而不是在方框里打勾。理想的EQA计划可能更能够帮助实验室并指导他们的质量之路。


(4)缺点:理想的EQA计划依赖于实验室的诚信去评估其结果并根据需要进行更改。可以想象,一个实验室如果检测给定的分析物持续失败,在没有外部强制措施的情况下就可以继续进行临床样本的检测,直到临床医生根据不正确结果采取错误的诊疗行为,并造成不可预知的后果。


3. Graham JonesEQA被认为是评价和验证不同实验室结果相似性的重要组成部分并在ISO 15189中得到认可。临床检验项目中大量存在的生物学变异可能是同一检测项目在不同实验室之间缺乏可比性的原因之一。事实上,作为个人观点,我希望实验室给出不同的结果,除非通过EQA有证据表明结果具有一致性。这句话的背后有必要对实验室检测结果的"一致性"给出一个定义,EQA组织者可以提供分析性能规范以便评估参与的实验室检测结果之间可接受的范围,此外,EQA组织者必须为结果提供一个目标值,可以使用一系列的方法来设置目标和分析性能规范,而EQA的目的在其中扮演着重要的角色。


如果EQA的目标是减少实验室之间的差异以及与约定目标的差异,那么问题是如何更好地实现这一点。不同的EQA计划可以被描述为监管型、改进型、理想型。监管型是设定一个所有实验室都需要遵循的标准,并要求合格的实验室才能继续进行临床样本检测;改进型是设定“表现良好的实验室”可以达到的标准,并标记表现较差的实验室,以自我完善为目标;理想型是一个设定最佳标准的计划,即使不容易实现,目的是刺激行业的改进,优点是可以不断地向参与实验室发送有关质量改进的信息,弊端则是实验室可能对未能达到标准习以为常,变得固步自封。


监管型EQA的一个明显优势是,成绩不佳的实验室可能被取消为患者提供医疗服务的资格,这一结果视为通过确保分析质量来保护患者。显然,如果制定的标准过于严格,可能有太多的实验室被暂停资格从而导致服务中断。另外需要考虑此类严格监管可能导致的实验室诚信问题,在监管的压力下,实验室可能会试图优化检测过程,例如,在检测系统校准后立即由高职称的检验人员对样本进行重复检测,因此,结果并不能反映检测的实际质量。通过使用可实现的目标并且没有监管压力,改进计划可能更能反映实验室的实际检测能力,如在一天中的不同时间由不同的分析人员对患者样本进行检测,我们希望的是,对超出范围的结果做出的处理可改善常规检测质量,从而使患者获益。几年前,澳大利亚政府推广了澳大利亚皇家病理学家学院的质量保证项目RCPAQAP,目的是利用其非监管项目来识别“成绩不佳的实验室”,然后由认证团队进行更早期的审查。即使是这种并不具有强制性的EQA也带来了担忧,即上报的数据可能不能反映实验室实际的日常检测性能,以至于其并没有得到进一步推广。大家由此注意到为了达到最佳效果,一个真正的教育型EQA计划必须与监管型EQA计划分离。


4. Sverre Sandberg:EQA计划应该鼓励参加实验室提高质量,原则上不应该被用作一种“惩罚”不符合该计划“接受”标准的实验室的制度。我对监管型EQA计划没有太多经验,它们通常有广泛的“接受”限制,与医疗需要或生物变异无关。监管型EQA计划的组织者应说明规定这些限制的原因。在监管型EQA计划中,参与者可能更容易对结果作假而不是将样品作为普通患者样本对待。EQA计划应该是动态的、具有教育意义的,这意味着它们应该根据需要解决的“问题”而变化。实验室和EQA组织者之间应该相互信任,以便EQA组织者能够帮助实验室解决问题——这样我们就有了外部质量保证。


5. Mauro Panteghini:我对监管型或教育型EQA的直接想法是,我们是否应该继续重申它。首先,目前可用的EQA计划的范围并不总是非常明确。人们认为“监管”计划应该满足一些最低标准但如何客观地定义这些标准?),EQA计划的唯一适用范围应该是检查实验室结果对其临床应用的适用性;其次,将两种定义中的一种应用于不同的EQA计划并不总是可行的。事实上,一些“监管”计划也希望教育参与者,而一些“教育”计划希望看到他们的室间质评计划以某种方式应用于监管环境。


6. Greg Miller:监管型EQA计划的结果用来监测实验室检测结果的质量,作为提供实验室服务的认可和许可证资格延续的一个依据。监管机构通常要求必须满足APS才被认为是可接受的性能,监管计划的优点要求所有实验室都参与,旨在确保所有参与者都达到最低可接受的性能,缺点是为实现通过率APS可能设置得足够大,例如95%,这可能无法识别某些实验室性能不佳的测量程序。


理想/教育型EQA计划的结果也被用于监测实验室检测结果的质量,但APS可以更贴近临床诊疗中要求的检验分析性能。教育型EQA计划的一个优点是EQA样品旨在甄别测量程序的局限性例如干扰物质而不必担心不通过的结果会危及实验室的认可状态,相反,结果可以提醒实验室测量程序有一个他们可能没有意识到的局限。该计划的一个潜在弊端是一个实验室可能多次室间质评不通过而没有被关闭的危险。大多数认证机构将审查EQA的可接受表现即使没有严格的监管要求EQA计划本身。


监管型和理想/教育型EQA计划共同面临的一个挑战是,与临床样本可互换的EQA样品只有相对较少的检验项目才具备,可能是检验项目目录中数千项中的20到30项。因此,大多数参与EQA的检测系统被分到“对等组”中,期望具有相同的不可互换性偏差,结果可能是一致的,将来自一个实验室的结果与“对等组”平均值进行比较,以确认该实验室与使用相同测量程序的其他实验室的结果具有一致性。然而,不能确定来自不同“对等组”的测量程序的结果是否彼此一致或者测量程序是否可溯源到参考系统。


二、EQA的目标如何影响EQA项目的设计


1. Michael Spannagl具有明确接受限和规则的监管型EQA提供了横向评估作为长期观察和持续改进临床实验室检测质量的保证,教育型EQA可以更具实验性并解决常规分析之外的其他方面问题。在INSTAND,RiliBÄK框架内的职责明确分开:a组织和物流是各种类型EQA都需要留意的;b严格按照ISO13528定义的统计过程进行统计分析;(c在某些情况下可能存在结果偏倚,这些偏倚需要由EQA的组织者进行解释和记录。此外,还推出了几项教育型EQA,重点是分析前和分析后环节可能出现的问题。众所周知,实验室的自动化和智能化水平持续提升使质量控制变得越来越重要。


2. Andrew Quintenz监管型EQA通常就像实验室监管一样,设计标准是确保质量差的实验室不合格,而很少关注实验室的合格程度。监管计划在一年中可能只下发几个样品,因为其目标是评估实验室是否具有合格的检测能力而不是指导质量改进。监管计划也可能影响EQA样本的制备,针对特定一个国家或地区设计,如果使用的仪器种类较少,那么EQA样品制备可能不需要太多的操作来满足各种仪器/方法的要求。对于可以短途运输的EQA样品,使用更少的稳定工艺(如添加成分)可以改善互换性,此外如果运输距离较短且成本较低,制备样本能在冷藏条件下运输,可以保持与患者样本的相似性。理想计划需要的通常是多国的并且可能同时在各种气候环境下运送的样品 (寒冷的冬季/炎热潮湿的气候),可能需要运输数天,因此需要为更长的储存时间做好准备,可以冷冻或冻干以确保全球范围内平等获得样品。与监管计划相比,理想计划可能会更频繁提供样品,使实验室能够评估其针对前次EQA成绩的质量改进的影响,同时会提供更大的样品量以允许实验室保留一些,以便性能不符合预期时用于后续评估。


3. Graham Jones区分这些类型的EQA计划的关键因素是应用的APS以及对未能满足这些APS的处理。通常,监管计划具有更宽松的APS,但成绩不合格的后果很严重。相比之下,理想计划将有更严格的APS,但不会对成绩不合格的实验室造成惩罚性后果。分析质量,在这里包括精密度、正确度和分析特异性,可以视为一个连续变化的范围,从一个准确的结果到一个严重偏差的结果。当检测系统性能从优秀到严重不合格时对患者伤害风险的影响也会发生变化,微小的变异对患者的预后没有影响。这方面的一个例子是相对于检验项目量值生物学变异的精密度,随着检测系统性能下降,结果中会增加额外的“噪音”,其并不反映患者的病情变化,随着这种“噪音”的增加,患者诊疗的风险也会增加。监管计划试图避免实验室检测质量糟糕到足以造成患者伤害的程度,理想计划旨在尽可能降低造成患者伤害的风险,而改进计划旨在降低最大风险并改进将风险降至最低。监管计划与认证程序或类似程序相关联,其成绩不合格可能导致实验室关闭;理想计划旨在甄别所有检测系统可能存在的缺陷,如果无法实现最佳性能,则预计不符合标准,但不会对参加的实验室施加惩罚性处理;改进计划通常会设定一个许多实验室都可以达到的标准,旨在改进在EQA中成绩欠佳的实验室和检测系统,实验室对参加EQA成绩不合格的反应应该是“我们如何改进这种检测系统”。


4. Sverre Sandberg与教育型EQA相比,监管型EQA必须更加稳定/固定。教育计划应该能够根据实验室当前的需求而改变,最重要的是EQA计划的目标应该确保实验室产生的结果符合临床诊疗的要求。因此,这些计划的设计应灵活,既涉及每年的调查次数,也涉及解决分析性“问题”。


5. Mauro Panteghini:我们需要重新思考EQA计划,努力将EQA计划整合到一个设计中,即回答有关实验室结果的临床效用问题。有关方面都应该关注如何制定和实施有效的IVD产品上市后适用性评价方案。除了满足特定要求,如对可互换样本的赋值,有效的EQA要求参与实验室的可接受性能应由标准定义,该标准以数值计算具体规定实验室所要达到的分析质量,以满足临床需要。该标准应只允许不会造成医疗损害风险的分析不确定性,这将使EQA参与者了解实验室提供的结果的质量对于患者诊疗的影响,包括检测系统的溯源性和实验室之间的检测结果可比性即结果标准化。我相信,今天实现评估与患者诊疗需求相关的实验室分析性能指标的所有主要障碍都已经解决,现在是时候设计能够提供这一结果的EQA计划,从而为检验医学实践增加实质性价值。几年前,欧洲临床化学和检验医学联合会EFLM开始朝这个方向努力,但没有获得可在EQA组织者中推广的成果,确实迫切需要一份权威文件,明确描述评估实验室检测分析性能是否满足临床诊疗需要的EQA形式。如果需要,EQA组织者应该重新调整设计,评估实验室分析性能是否满足临床诊疗需求,独立于检测系统类型和仅满足制造商规范的可能性,并相应地采取行动。


6. Greg Miller:监管计划通常包括邮寄规定数量的EQA样本和EQA成绩的汇总与回报,因此灵活性较差,一般不会去评估检测系统分析测量范围的极限或者检测过程中可能受到的干扰。教育计划则具有一定灵活性,可以提供浓度范围更广的EQA样本,包括医学决定水平附近浓度的样本,以监管为主的国家或地区应重新考虑转向更具教育性的EQA计划。


三、EQA在认可中的作用是什么?


1. Michael Spannagl:德国的RiliBÄK帮助国家认可机构在医学实验室的认可过程中应用正式而透明的标准,各委员会定期进行交流从而形成一个不断改进的过程,监管机构和学术组织也参与其中,与第三方支付方和政界人士一起,探讨检测结果质量和成本效益的话题。


2. Andrew Quintenz:认可计划中的EQA不应该是惩罚性的,与实验室法规相反,认可的目标“不是关于谁是最好的,而是谁拥有提高质量和促进患者安全的标准程序系统”。无论EQA成绩如何,认可标准都应要求EQA以及既定的EQA目标、证明EQA结果评估的要求以及未达到目标时所采取处理的记录,EQA不应规定实验室活动而应成为实验室用来指导其自身质量改进的机遇。认可的挑战之一是当一个国家采用认可代替法规时,最初的理想计划用于满足认证要求,导致实验室担心未能通过这些理想EQA计划,于是一些教育型EQA受到了压力,要求调整APS/标准以避免被认证机构引用。


3. Graham Jones认可制度旨在支持良好的实验室实践,以优化患者健康和安全为目标。EQA是实验室确保高质量结果的必要条件,因此将EQA参与和性能评估作为认可标准非常合适。认证过程必须确保执行了EQA,并且其确实反映了实验室对患者样本的检测性能。考虑到这一点,认可过程应尽可能关注执行EQA的过程、对EQA成绩的反馈以及实际成绩如何。当没有适当的EQA时,认可也可以发挥作用,确保采用其他程序来确认分析质量,如样品交换或“平均值”分析。

4. Sverre Sandberg认可机构需要考虑如何解释EQA结果,通常他们只是考察EQA成绩以及实验室接到成绩反馈后采取了哪些改进措施。认可机构在评估成绩时应考虑EQA计划的质量,如使用了什么EQAM、样本是否具有互通性、如何建立目标值、方案中有多少参与实验室,等等。官方EQA组织者应与认证机构组织会议,告知不同类型的EQA计划,应该强调,在大多数情况下,有一个可互换的EQAM和参考测量程序给与的定值比每年循环检测大量的样品更重要。当使用不可互换的EQA样本时,认可机构应调查对等组是如何建立的以及该对等组中有多少参与的实验室。也许更重要的是认可机构应关注分析前和分析后的质量评估计划并鼓励实验室尽可能参与这些计划,分析前和分析后质量与分析中质量一样重要。


5. Mauro Panteghini:认可通常是根据未提及选择EQA计划的标准对医学实验室进行检查。他们只是要求提供参与EQA计划的证据,其表现不影响实验室认可。然而,这种方法根本没有评估有关实验室检测的临床适用性的所有信息。实验室认可和参与EQA计划之间的联系只是形式上的,坦率地说,我不认为认可机构会推动EQA计划设计的革命。


6. Greg Miller:符合ISO 15189和大多数国家的认可要求是必须参加EQA计划,关键问题是,法规是否控制了EQA的频率和评分标准,这可能会限制EQA计划的灵活性,从而无法为实验室提供关于如何改进其检测质量的最佳反馈


本文编译译自:《Differences between Educational and Regulatory External Quality Assurance/Proficiency Testing Schemes》, https://doi.org/10.1093/clinchem/hvac132。版权归《临床化学》所有。