ISO 5725.1读后小结
检验界和IVD行业不宜采用既往惯用的准确度定义,最好采用ISO 5725-1994中的准确度和正确度定义。因为检验科一般只测量一次就报告临床医生,要追求单个测量结果的准确度,而不是既往认为的多次测量平均值的准确度。
GB/T 6379涉及的测量方法“特指对连续量进行测量,并且每次只取一个测量值作为测试结果的测量方法……”
用此概念可以理解下图:
上述新术语产生和定义改变与“协同研究(实验室间研究)”密切相关,组织一个协同研究,要满足下面10个要求:
a)该测量方法是否有一个令人满意的标准?
b)宜征集多少实验室来协作进行试验?
c)如何征集实验室?这些实验室应满足什么要求?
d)在实际中什么是水平的变化范围?
e)在试验中宜使用多少个水平?
f)什么样的物料才能表达这些水平?如何准备受试物料?
g)宜规定多少次重复?
h)完成所有这些测量宜规定多长的时间范围?
i)5.1中的基本模型是否适宜?是否需要考虑修改?
j)需要什么特别的预防措施来确保同一物料在所有的实验室、
在相同的状态下进行测量?
ISO5725.2读书报告内容
ISO 5725.2内容很多而且排列较乱,将读书报告分为二个部分
第一部分
前言
1 ISO 5725.2中的“引言”和“1范围”
2 ISO 5725.2中的“2术语”
3 ISO 5725.2中的“5 对精密度试验的要求”
4 ISO 5725.2中的“6 参加精密度试验的人员”
第二部分
1 ISO 5725.2中的“4 基本模型中的参数估计”
2 ISO 5725.2中的“7 精密度试验的统计分析”
3 其它
第一部分
前言
本次读书报告内容是ISO 5725-1994系列中第2部分。我国在2004年将其等同转换为GB/T 6379.2-2004,该部分题目为“确定标准测量方法重复性与再现性的基本方法”。此题目和既往的ISO 5725-1986相似,是ISO 5725系列标准中最重要内容之一。
我阅读这部分内容后,认为有下列问题值得注意:
“复现性”和“期间精密度” 两个术语的区分点在何处?
这是因为不同来源的导则对“复现性测量条件”定义有区别!
使用下列公式计算复现性是否恰当?
sR2= sL2+ sr2
CLSI EP05-A3在计算复现性时,使用期间精密度,哪一个比较好?
为什么ISO 5725和ASTM E691计算复现性时,不考虑使用期间精密度?
历史背景
重复性和复现性,在英文中常取它们两个名字(Repeatability Reproducibility)的第一个大写字母,写为RR。从1978到1983年由Beneiae和Dusman引入。它的引入和发展与协同研究(collaboratory study)密切相关。1986年颁布了ISO 5725-1986“确定标准测量方法重复性和再现性的基本方法”,后来成为ISO 5725的第2部分。虽然得到国际初步肯定并引起广泛注意,但至今仍存在一些不同的意见。例如,有人认为应该使用期间精密度来计算复现性(CLSI EP05-A3)。但是毫无疑问,评定复现性标准(偏)差是对IVD厂商的一个现实要求。医学实验室期望IVD厂商对他们提供测量系统的复现性标准(偏)差和测量方法偏移数据,而不是单个测量系统的重复性和期间精密度以及实验室偏移数据。
说明:以下正文黑体部分为导则内容;宋体部分为作者的评论和说明
1. ISO 5725.2“引言”和“1 范围”
为了阅读方便,下面章节编码与原标准相同。
引 言
0.1 “正确度指大量测试结果的(算术)平均值与真值或接受参照
值之间的一致程度;而精密度指测试结果之间的一致程度。”
ISO 5725每个部分都有上述0.1的叙述,是本标准的核心思想。只有承认这一叙述,才能谈到本标准中其它内容。
0.2 略
0.3 强调“本部分只考虑重复性标准(偏)差和再(复)现性标准
(偏)差的估计……本部分也没有考虑精密度两个主要度量间的任何其他中间度量问题。”
这段话给检验界人士留下了一个迷惑,为什么计算“复现性标准(偏)差”时不考虑期间精密度?
1 范围
本节内容很多,包含1.1—1.6,内容似乎很多,实际上主要为1.1。
1.1 指出“GB/T6379的本部分”内容是“通过协同试验室间试验
…”得到“试验设计中应遵循的一般原则”并且“为所有关心精密度估计的试验设计、执行和结果分析人员提供指南”。
在ISO 5725.2中,与此相关内容有:
“5 对精密度试验的要求
6 参与精密度试验的人员”
—些内容,如“6参与精密度试验的人员”是新添加的题目;一些内容则在ISO 5725.1讨论过,如“5对精密度试验的要求”。在本部分将继续讨论并添加些新内容,这可能是本导则的—个缺点。每个部分都要讨论此问题,往往前后内容重叠,甚至矛盾。如能像ASTM E 691为“协同研究评定方法精密度”写一个专题导则可能更好。
本导则另一主要内容为“提供估计测量方法精密度所常用的基本方法的详细而实用的说明。”这表现在本部分:
“7精密度试验的统计分析”以及“附录B(资料性附录)精密度试验统计分析的实例”,报告将在第二部分对此作详细的说明。
1.2 “取一个测量值作为测量结果的测量方法,尽管这个值可能是
一组观测值的计算结果。”
再次重复了ISO5725.1中的1.2内容,说明这个概念是本导则的基础。
1.3 “…基本方法是在每一个实验室使用相同数目的测试结果,并
且每一个实验室都对测试样本的相同水平进行分析,即进行平衡均匀水平的试验。”
实际上做到平衡均匀试验很难。“一个例子中,单元中的重复测试数有变化(非均衡设计);在另一个例子中一些数据缺失了,这是因为一个均衡设计的试验最终可能变成非均衡的,也考虑了岐离值和离群值”。
这提出了一个问题,如结果是非平衡时,怎么处理?
1.4 “GB/T6379.1-2004第5章中的统计模型被用作解释和分析测
试结果的基本模型,且认为测试结果是近似服从正态分布的。”
强调建立统计模型的重要性,首先要建立基本统计模型,并由此导出计算重复性和复现性的基本公式。
应注意本导则的所有计算都是基于数据正态分布基础上。
1.5 “GB/T6379本部分估计测量方法精密度的基本方法用于下列
情形:
a)重复性和再现性标准(偏)差时;”
下面b)c)二点应该是进行试验的先决条件:
“b)当使用的物料是匀质的,或不均匀性的影响能包括在精密度值中时;
c)当可以采用平衡均匀水平设计时。”
1.6“对尚未标准化的或非常规使用的测量方法进行初步精密度估
计时也可以使用同样的方法。”
说明ISO 5725不是只适用标准(参考)方法。
2 ISO 5725.2 “2 术语”
由于添加了一些新内容,下面章节重新编码。
2.1 “重复性测量条件”的定义
2.2 不同导则对“复现性测量条件”定义的差异
2.3 协同研究和复现性
2.4 其他相关术语
2.1 “重复性测量条件”的定义
ISO 5725“重复性条件”定义源自ISO 3534。
“3.14 重复性条件(repeatability conditions)
在同一实验室,由同一操作员使用相同的设备,按相同的测试方法,在短时间内对同一被测对象相互独立进行的测试条件(引自GB/T3358.1-1993)。”
其它2个ISO标准(VIM,ISO 3534)以及ASTM E691对“重复性条件”定义与上述相似。在检验医学中,常与“批内精密度”等同。将测量时间局限于在一个测量的批次内。
2.2 不同导则对“复现性测量条件”定义的差异
本节将着重讨论上述各导则对“复现性条件”定义的差异
2.2.1 ISO 5725.1-1994定义如下:
“3.18 再现性条件(reproducibility conditions)
在不同的实验室,由不同的操作员使用不同设备,按相同的测试方法,对同一被测对象相互独立进行的测试条件。(改自GB/T3358.1-1993)”
GB/T 3358.1-1993(ISO 3538.2)原文为:
“3.3.11再现性条件(reproducibility conditions)
由不同的操作员按相同的方法,使用不同的测试或测量设施,对同一测试/测量对象(1.2.34)进行观测以获得独立测试/测量结果(3.4.3)的观测条件。”
ISO 5725.2对ISO 354定义修改如下:
开始处增加“在不同实验室…”,此修改符合在协同研究基础上制定的ISO 5725标准。
以“使用不同设备,按相同的测试方法”取代ISO 3354中的“按相同的测量方法,使用不同的测试和测量设施”,意思相似,顺序有差异。人们曾设想复(再)现性条件如是与重复性条件完全对立的另一类极端条件,则应是“不同测量方法”。但是实际上上述2个ISO导则都强调使用“相同的测量方法”,推翻了人们当初的设想。
此外ISO 5725.2对“在不同实验室…”还有一个重要修改解释,见ISO 5725.2的5.2.2:
“5.2.2 一个‘实验室’在GB/T6379本部分中被认为是操作员、设备和测试场所的一个组合,一个测试场所或通常意义的一个实验室可以产生几个‘实验室’”。
明确“一个实验室,可以产生几个‘实验室’”,只要―个实验室能够为几个操作员提供独立的仪器设备和测试场地。
CLSI EP05-A3就是在1个实验室3个场所,由不同操作员在3台不同仪器上给校准品赋值,用其数据测定“复(再)现性标准(偏)差”和“测量方法偏移”。
2.2.2 VIM-2012最新定义如下:
2012年颁布的VIM就将“实验室”改为“位置(场所,SITE)”。
“5.15 复现性测量条件 measurement reproducibility condition of measurement【VIM2.24】
简称复现性条件(reproducibility condition)
不同地点、不同操作者、不同测量系统,对同一或相类似被测对象重复测量的一组测量条件。
注:1、不同的测量系统可采用不同的测量程序
2、在给出复现性时应说明改变和未变的条件及实际改变
到什么程度”
VIM定义做了如下重要改变:
将“不同实验室”改为“不同地点”,也就是将上述ISO 5725.2中5.2.2意见包含到定义中。
没有明确ISO 5725和ISO 3534都提到的“相同测量方法”只含糊地提“不同测量系统”,不明确是“不同方法的测量系统”还是“相同方法的不同测量系统”,是否还有可能笼统包含了上述2种说法。
VIM定义中的注2:“在给出复现性时应说明改变和未变的条件及实际改变到什么程度”很可能是对上述问题的解答?
2.2.3 ASTM E 691对“复现性测量条件”的定义
“在不同实验室,不同操作者使用不同仪器(3个不同),用相同方法对同一测试物件(2个相同)所得测试结果的条件。”
此段叙述和ISO 5725.1相似,但更为清楚,即“相同方法,不同仪器”。换言之,此定义不包括和重复性测量条件完全相对立的极端情况。此极端情况可见于某些能力比对计划(PT),它包括的4个不同(不仅场所、操作员和仪器不同,测量方法也不同)。
2.2.4 总之一句话,复现性测量条件和期间精密度测量条件之间,
目前似乎尚无明确的界限。应该以什么界限,来区分复现性和期间精密度,可能回答有:
一个实验室内和多个实验室之间
一个场所和多个场所
单个仪器和多个相同仪器
单个仪器和多个不同的仪器
这可能需要人们继续加以讨论。
2.3 协同研究和复现性
通过前面叙述,特别是1.1叙述中,
“1.1 GB/T6379的本部分
—— 给出了一些通过‘协同试验室间试验’获得测量方法精密度的数值估计的试验设计中应遵循的一般原则。 ”
充分说明复现性和协同试验密切相关,人们有必要对协同研究有一个初步了解。
协同研究的分类,见下图:
通过此图,可以了解协同研究包括多种类型的试验,大致可分为2大类:
一类是评定某―特定测量方法的性能特征,在上图中显示还可细分为:
按ISO 5725.4评估测量方法
新方法的自动化
采样研究
还可以将图中按ISO 35给参考物质赋值和按ISO 5725.6改进测量方法计划2种协同研究也归纳到此范畴。因为这些研究都基于相同测量方法基础上,似乎都可使用相同的计算复现性标准(偏)差和测量方法偏移(倚)的办法。
另一类是与重复性完全相对的极端情况,即除了重复测量相同被测对象外,其他测量条件都不相同。也就是:
不同地点(实验室),不同操作员,不同测量方法,不同测量系统。
这种情况的协同研究大约只见于大范围的(不分组,或者多个分组)的能力比对试验(PT),不见于方法评估研究以及给参考物质赋值。
能力比对计划(PT)目的不同于第一类协同研究,不是评价测量方法而是评价实验室测量能力高低。既可以基于相同测量方法进行,如美国CAP的PT计划;也可以是某些国家包括不同测量系统的PT计划,它们在计算精密度和正确度的办法上可能不同于ISO 5725。
小 结
正确理解复现性
和重复性不同,它有不同的定义,以适用于不同的情况;
不要将复现性理解为:一种和重复性完全相对的,特定的测量条件;
复现性与协同研究有密切关系;
进行协同研究时,往往要同时测量复现性标准(偏)差和重复性标准(偏)差,却不需要一定测定期间精密度。
2.4 其他相关术语
在ISO 5725.1中还有一些VIM没有的术语:
“重复性标准(偏)差(repeatability standard deviation)
在重复性条件下所得测试结果的标准(偏)差。”
重复性标准(偏)差是重复性条件下测试结果分布的分散性的度量。类似地可定义“重复性方差”与“重复性变异系数”,作为重复性条件下测试结果分散性的度量。
“重复性限(repeatability limit)
一个数值,在重复性条件下,两个测试结果的绝对差小于或等于此数的概率为95%。”
“再现性标准(偏)差(reproducibility standard deviation)
在再现性条件下所得测试结果的标准(偏)差。”
再现性标准(偏)差是再现性条件下测试结果分布的分散性的度量。类似地可定义“再现性方差”与“再现性变异系数”,作为再现性条件下测试结果分散性的度量。
“再现性限(reproducibility limit)
一个数值,在再现性条件下,两个测试结果的绝对差小于或等于此数的率为95%。”
这些术语在复现性数据应用上很有用,将在ISO 5725.6进—步讨论。
3 ISO 5725.2中的“5 对精密度的要求”
为了阅读方便,下面章节编码与原标准相同。
5.1 试验安排
5.2 实验室征集
5.3 物料准备
5.1 试验安排
5.1.1 “在用基本方法进行试验安排时,取自q批物料的样本分别代
表q个不同测试水平,被分到p个实验室,每一个实验室都在重复性条件下对每一水平得到同样n次重复测试结果,这种试验称为平衡均匀水平试验。”
本节中再次强调了平衡均匀水平实验。将试验安排简化为pqn,即p(8-15)个实验室对q(5)个不同浓度水平被测物料,各重复测量n(4)次。其特点为1个实验室对1个浓度水平物料只需测1个批次,只能计算重复性标准(偏)差,无法计算期间精密度。
ISO 5725.2只测重复性标准(偏)差,不测期间精密度的优点:
测量安排相对简单,如安排恰当,一个实验室一天可以完成整个试验;
重复性是最小的一种精密度,各个实验室重复性测量条件相对稳定并且可比,能在—定程度上代表各实验室的测量能力高低。
CLSI方案要测量5天,实质上是测定期间精密度。随测量条件的不同、结果变化其测量的价值不如重复性。ISO 5725和ASTM E691介绍计算复现性标准偏差办法都无需计算期间精密度。
ISO 5725.2与CLSIEP 05-A3相比的另一个优点是同时测量多个(q=5)浓度,优点是:
可以绘制精密度图(Precision profile);
可寻找浓度水平m和精密度之间的函数关系。
如q在10个左右外加一个空白对照管,则应该可以:
绘制标准曲线(测量区间);
测定LoQ;
测定LoD。
5.1.2 “进行试验的规则”
“这些测量工作应在如下规则下组织进行
a)任何设备的预检应按标准方法中的规定进行;
b)同一水平中一组n次测量应该在重复性条件下进行……测量过程中间不允许对设备进行任何的重新校准;
c)一组n次测试要求在重复性条件下独立地进行是十分重要的……
d)没有必要要求所有q组的n次测量都严格在一个很短的时间内进行;不同组的测量可以不在同日内进行;
e)所有q个水平的测量都将由同一个操作员做出,此外,在给定水平上做出的n个测量要自始至终;
f)如果在测量过程中一个操作员因故不能完成全部测量,那么可以由另一个操作员继续剩下的测量……”
要做好协同研究,应严格遵照上述a)—f)规定进行操作。下面重点讨论c)和f)2点:
c)的核心要求是n次测试在重复性条件下应独立地进行。这要求对同一浓度水平被测物料分成n份,并给以不同编号,否则操作者将知道是对同一物料进行测试。这n次结果应该一致,主观上的认识干扰了测试结果,甚至产生操作者人为修改结果的不良后果。
独立地进行测试是十分重要的。应在研究说明书中强调测试的整个意图就是要考察在实际测试中测试结果能发生多大的变化,不应让操作者知道某些测量的是同一浓度水平。
这样的安排会产生一个问题,即能否保证重复性条件适用于这些重复的测试。只有当所有qn个测量可以在一个很短的时间内完成时,上述条件才能得到保证。
另外一个问题是增加分发样本的数量。
f)指在特殊情况下,如一操作员不能完成全部测量时,可以考虑换另一操作员操作。但是不能发生在同一个浓度组n次的测量由2个人完成,并且如实上报。
5.1.3 强调“某些测量……可能由一组操作员进行……这一组操作
员将统一看作‘操作员’,出现任何人员的变更都将被看成是不同的‘操作员’。”
5.1.4 强调“……任何精密度试验中,测试结果要比标准方法中规
定的有效数字位数至少多一位……”
5.2 实验室征集
5.2.1 提出“在GB/6379.1-2004的6.3中给出了关于参与实验室间
协同试验的实验室征集工作的一般原则”
上述叙述中要求根据ISO5725.1中的6.3征集参与协同研究的实验室,似乎不妥?
复习一下ISO 5725.1的“6.3实验室的选择”:
“从统计学的观点来看,那些参加估计准确度的实验室宜从所有使用该测量方法的实验室中进行随机选取。自愿参加的实验室可能不代表实验室的实际组成……
参加的实验室应该不宜仅由那些在对该测量方法进行标准化过程中已获得专门经验的实验室组成,也不宜由那些特别的‘标准’实验室组成。这些‘标准’实验室是专家用该方法来演示准确度的确定的……”
上述征集实验室征集原则可能只适用于参与能力比对计划(PT)的实验室。参加其他多种协同研究的实验室征集,我个人认为按照ISU 5725.1中4.5.1的要求较为合适。
“4.5.1 GB/T6379的本部分的一个基本假定是对一个标准测量方法而言,重复性对使用这个标准程序的每个实验室应该或至少是近似相同的,这样可以允许建立一个共同的平均重复性标准(偏)差,它适用于任何实验室……ISO 5725.6详细地讨论了这种方法。”
换言之,对测量方法进行迸行“协同研究”时,宜选择一批测量能力较好和近似的(参考)实验室。”
下面是5.2.1介绍的征集实验室登记表
5.2.2 下一段话在讨论复现性测备条件定义时已加以叙述
“5.2.2 一个‘实验室’在GB/T6379本部分中被认为是操作员、设备和测试场所的一个组合,一个测试场所或通常意义的一个实验室可以产生几个‘实验室’,只要它能够为几个操作员提供独立的仪器设备和测试场地。”
此处有必要再重复一次,它说明在复现性测量条件的定义中,实验室和场所二者可互换。
5.3 物料准备
本节中包括5.3.1—5.3.5共5个小节
5.3.1 指出“ISO 5725.1的6.1中给出了精密度试验中选择物料时需
要考虑要点”。
5.3.2 指出“……需要准备的物料数量应当足以满足测试之用,并
且允许适当的储备”。
5.3.3 “应考虑在得到正式的测试结果之前一些实验室为了熟悉测
量方法而获得某些初步的测试结果是否可取,如果可取,那么也应考虑是否应该提供额外的物料(而非精密度试验样本)”。
目前的协同研究在正式开始前,一般都先进行预试验。除了让参加实验室熟悉测试外,组织(协调)者也可据此进一步选定参加的实验室。
5.3.4“当一种物料必须要进行匀质化时,应对该物料以最合适的方
式进行匀质化……”
5.3.5 对不稳定物料“有必要将其以冷冻状态送到参与的实验室,
并对其融化程序,进行详细的说明。”
4 ISO 5725.2“6 参加精密度试验的人员”
ISO 5725多个部分都谈到参加精密度试验人员组成和职责,但是ISO 5725.2第6章的内容是似乎最全面和详细的。对于组织协同研究的学者而言,一方面这部分叙述具有较高的参考价值;另一方面由于该标准颁布在二十余年前,与目前进展似也有些不合适之处。
下面将不列出标准中详细内容,只讨论下列几个问题:
4.1 本标准分别设立“领导小组”和“执行责任人”是否有必要?
ISO 5725.2中6.1详细规定了协同研究试验领导和组织者的任务。目前争论点是,随着学者熟悉协同研究,常是由某一机构发起、组织和领导某一协同研究。国外常称为协调者(cordinator),实际上担负本标准中“领导小组”和“执行负责人”的任务。
4.2 panel的翻译
现在有的文件,如ISO/WD 15725提到的协同研究也有panel。但从其所提的任务中显然不是领导作用,主要任务是咨询和建议。ISO 5725.2将panel翻译为“领导小组”,如翻译为“专家组”可能更为恰当。
4.3 对“6.2 统计专家的职责”的理解
我读过的有关“协同研究”的导则都无例外要有熟悉统计学的人员参加,但又没说必须要有统计专家。例如ISO 5725.2只说“领导小组中至少有一个成员应具有统计设计和试验分析方面的经验。”
现实工作中,在我国要寻找一个既懂统计学又熟悉检验医学测量方法的专家并不容易。当务之急可能是要在广大检验技术人员中培养一些本条中所称“具有统计设计和试验分析方面的经验”的人员。
4.4 GB/T6379.2将6.3 Supervisor翻译为“质量负责人”,恐怕称
“实验室测量负责人”更合适。本部分为他规定很详尽的任务。人们容易忽略的是“c)对测量的执行进行监督(测量负责人不应参与测量操作)”。
4.5 同样,本部分为操作员规定很详尽的任务。最重要的是:
“6.5.2 因为试验目的是对全体使用该标准测量方法的操作员确定标准测量方法的精密度,因此一般不宜给操作员以拓展测量方法标准的权力。然而,也应该对操作员指出,测试的目的之一是发现测试结果在实际中的变化,这样他们就不会对不一致的测量结果进行丢弃或重测。”
换言之,必须要教育操作员,对测量和测量结果一定要做到“实事求是”。
通过第6章阅读,还必须认识到在实际工作要根据每一协同研究的目的、组织方、参加方的实际情况不同而灵活掌握。导则内容仅供参考,不要机械教条地用到实际工作中。