显微镜数字化成像技术在临床检验医学中的应用

张时民，副主任技师，曾任北京协和医院检验科临检组组长和北京协和医学院临床检验诊断学系血液体液实验诊断学教研室主任，中华医学会检验分会第十届委员会临检学组委员等多种社会学术兼职。主编检验医学专著14部，副主编及参编数十部。发表各类检验专业论文、综述、述评等文章数十篇。

殷跃锋，就职于Bionovation生物技术公司，负责显微镜数字成像的应用与开发工作，从事细胞分析技术的开发、应用与推广20余年。

【摘要】数字化成像技术已经发展近30年，显微镜数字化成像与图像分析在临床检验工作中已经有了一定规模的应用。本文从成像原理、难点、解决方法与应用方向等方面介绍了显微镜数字化成像在临床检验工作中的开展情况。结论：随着高倍镜扫描速度与AI算力的突破，使得原位高速高分辨光学信号采集成为可能。显微镜将从一个微观、精密的低效工具，向一个可大规模使用的高效工具转变，进而有效地提高检验科的工作效率。

现代医学的发展进步离不开显微镜的贡献，自英国人罗伯特·虎克在1665年用“cell”一词命名植物细胞开始，到当前超分辨活细胞成像显微镜观察单个细胞生命周期内的蛋白水平变化，显微镜一直是生物医学实验室中的基础工具，为研究者提供着最直观、真实的样本信号：二维或三维图像。光学显微镜可以最高提供200纳米的观察分辨率，可观察组织、细胞、细胞器。检验医学的发展离不开显微镜，尽管随着免疫学、分子生物学的发展，这些方法可以提供更为特异、灵敏的检测结果，但有经验的形态学专家依旧可以快速的通过观查样本的形态学特征，给出相似的结论甚至是决定性的结论，例如AML伴t（8；21）或其他染色体或基因异常时常有特征性的形态学改变以及寄生虫感染等问题。

一、显微镜数字化成像的背景与发展

显微镜数字化成像的前身是显微摄影，在数码成像技术之前，学者们通常使用化学胶卷拍摄显微照片。胶卷采样分辨率由卤化银晶体颗粒直径决定，其范围为20～50微米到50纳米之间，大部分直径大小在0.1～4微米，当样本被物镜放大10X~100X后，化学颗粒可以很好地保真光学分辨率，将图像保存下来。自上世纪90年代以后，随着CCD与CMOS数字成像芯片广泛应用于民用，显微镜成像进入了数字时代，临床检验工作中的镜检项目也随之升级到了图文报告的时代。镜检项目不再只有文字描述，报告单上还附有样本的镜下图像，报告的有效性、溯源性都得到了提升。20年过去了，报告图像的分辨率提升了，色彩更真实了，但似乎临床检验的镜检项目依然停留在图文报告的阶段。

二、数字化概念与相关指标

进入21世纪后，随着机器视觉算法与成像芯片的快速发展，数字成像与处理技术几乎以摩尔定律在进化。相机的成像速度取决于两个方面：（1）数据传输速度；（2）相机成像芯片刷新速度。表1列举了常见的相机接口，最快的为100G光纤传输，每秒可传输100亿个像素。一张标准载玻片，如果用0.1μm/像素分辨率采样，理论上8秒钟即可完成数字化传输。对应着传输速度的增加，CMOS成像芯片每秒输出帧率（像素数量）也在成倍增长（表1）。在USB2.0时代，芯片通常是130~300万像素大小，每秒20~50帧；而如今光纤传输速度达到100G/秒，出现了8K芯片（1亿个像素，11275x9000，46.5mm大小），每秒可输出24帧，即24亿个像素。在显微镜数字化成像时，还可以通过半反半透镜拆分明场成像（多人阅片显微镜），使用多个相机同时拍摄，进一步提高数字化速度。

表1. 各种传输接口每秒钟可传输的像素数量

注：全片样本扫描时，100X油镜下0.1μm/像素分辨率时，全片800亿个像素，传送全部数据所需的理论时间

三、组织病理学全片数字化的发展与应用

当数码相机能对任意显微镜视野进行拍照后，把整张样本玻片拍摄下来形成一个数字化玻片就成了下一个趋势。Wetzel和Gilbertson在1999年[1-3]第一次将whole-slide imaging（WSI，全片扫描，全景图像，全片数字化，全片成像）应用在病理诊断工作中。

显微扫描仪是一台自动化的显微镜，它能够完成自动聚焦，X/Y载物台能按物镜的成像面积移动样本，数码相机逐个视野拍摄后，软件将每个视野图像按顺序排列，形成一个数字化玻片（虚拟玻片）。病理科是医疗领域中显微镜使用的主要科室，通常使用20X物镜（部分场景40X物镜）观察组织切片标本及其他染色样本，因此成为显微扫描仪的首批使用者。数字化的显微图像有着显著的使用便捷性与智能分析优势：（1）可复制性，相比物理玻片，数字化玻片的存储与分享极为便利（远程会诊，教学）。（2）计算机辅助诊断（机器视觉、深度学习AI分析）将极大地缓解病理医生的工作强度，提供更稳定的检测结果，如免疫组化的Ki67、Her-2染色阳性的定量计算。（3）基于深度学习的肿瘤组织区域的自动识别及分类，该领域经过多年的发展已经取得了诸多的成果，例如通过提取H&E染色的前列腺癌组织细胞的细胞核特征，对前列腺癌阳性样本的检测率可达到96.7%[4]。对肿瘤Gleason分级准确性为：95.8%区分3至4级，96%区分3级与初期 [5]。再例如乳腺癌的预后判断，通过对肿瘤组织的组织微阵列H&E染色样本进行全面训练，可独立预测病人的5年生存期[6]。

数字化病理在美欧病理实验室中已经普及，美国FDA也批准了数字化病理扫描仪用于肿瘤首诊报告中。大型学术机构研究显示[7]，使用0.25μm/像素分辨率扫描各种组织样本，由擅长骨髓、软组织系统、生殖系统、消化系统、乳腺系统、妇科系统和皮肤系统的8位病理医生比较了数字化阅片与光学显微镜下阅片的差异。一共204个样本，2091张玻片，每张玻片的中位文件大小为1.54GB，中位扫描时间为6分24秒，中位扫描区域是32.1×18.52mm。与光镜下阅片的结论一致性为99.3%，但数字化阅片效率降低了19%。阅片效率的下降主要是由于计算机对图像的刷新响应延时、病理专家对软件的使用不熟练以及数字化图像与光镜下的呈现差异造成的。当使用计算机辅助诊断工具时，诊断效率将会大幅提升。

虽然组织病理通常只使用20X或40X物镜成像，但扫描仪在实际使用中仍会遇到聚焦问题，如封片时有气泡，组织有折叠，这些都会使机器在扫描时无法确定准确的成像聚焦位置。绝大部分情况下，扫描仪可以提供与光镜下一致的成像质量。在0.25μm/像素分辨下时，全片20×40mm区域一共包含128亿个像素，理论上使用当前最快的相机（24亿像素/秒），全片数字化仅需5~6秒便可完成，但实际情况要复杂得多。影响因素主要包括：

1. 物镜的视场大小：当前显微镜的物镜视场大小（镜头上端的直径）通常为22mm或26.5mm（高级别物镜）。由于芯片是呈矩形的，为避免超出镜头有效成像圆形区，芯片需内接矩形于视场范围内，这就限制了可用成像芯片的大小，通常不超过一英寸。

图1. 不同数码相机的成像芯片尺寸

2. 芯片的像元尺寸：从最小1μm至12μm，像元越大成像质量越好（信噪比高），但同样面积下的像素数量少，相机采样分辨率低。为获得0.25μm/像素的成像分辨率，可以使用表2中的组合：

表2. 不同像元大小芯片与不同物镜组合时的采样分辨率

3. 镜头的光学分辨率，即NA值（数值孔径）：如果镜头本身的光学分辨不够，采样分辨再高也无法得到满意的图像质量。如用1μm像元的芯片配合10x物镜时，便可获得0.1μm/像素的采样分辨率，但此镜头的光学分辨率只有1.1μm（表3），最终的数字图像的光学分辨率也只有1.1μm。一般采样分辨率需≤1/2光学分辨率，明场下极限光学分辨率为0.2μm，0.1μm/像素的采样分辨率是保真光学分辨的最低分辨率。

表3. 不同NA镜头的光学分辨率

N.A. = Numerical Aperture

综上所述，显微图像的最终质量取决于：（1）镜头的光学分辨率，这是基础。（2）采样分辨率，尽可能地保真光学分辨率，但由于芯片自身的信号处理问题，数字化的光学分辨率永远是损失的。

在数字化病理实践中，通常扫描采用NA0.75的镜头（可以是20X或40X物镜，光学分辨为0.37μm），对应于传统显微镜的20X物镜时，采样分辨为0.5μm/像素；对应于40X物镜时，采样分辨为0.25μm/像素。为了使扫描效率更高，通常会使用放大倍率低的物镜，因为它的成像范围更大，景深更大，适用于更大尺寸的成像芯片。

显微扫描仪在工作过程中会遇到与手工操作显微镜相同的聚焦问题。表4列举了不同NA值的镜头的景深，即焦点前后仍维持成像清晰的距离范围。可见放大倍率越低的镜头，聚焦越容易，因为景深大，不容易出现失焦。当使用20X镜头NA0.75时，镜头的景深能维持在2μm左右，这个景深恰好提供了高速成像的前提条件。

表4. 不同物镜的景深距离

图2. 镜头景深计算公式

显微扫描仪的轨道加工精度也至关重要，在制造成本可接受的情况下，高精度直线运动轨道在100mm距离内可维持在10μm以内的变化，短距离内的差值可以维持在1μm以内。如果镜头的景深有2μm距离时，扫描50mm直线时，仅需4~5聚焦点高度便可使整个扫描路途都在景深范围内；另外组织样本本身有3~6μm的厚度，这个样本厚度范围内都可阅；这些因素的叠加使得在20×镜头时可在几分钟内完成全片扫描（WSI）。扫描时间由两部分构成：聚焦点聚焦时间和扫描时间。通常15×15mm组织区域设置3×3或5×5个聚焦点，使用双线性差值法或最小三角形差值法计算剩余区域的焦距高度。扫描质量与聚焦点的数量呈正相关，聚焦点越多，扫描质量越好，但耗时越长。主流的做法将扫描分为低精度（聚焦点少）与高精度（聚焦点多），或在一定聚焦点数量下扫描后对图像作检查，如果质量不满意，再增加聚焦点数量。

病理样本处理时间长，批次集中，相应扫描仪的玻片仓容量也较大，从8片到1000片不等，玻片放置到仪器上后可24小时内不间断扫描。数字化病理经过了近二十年的发展，已经趋向成熟，能够满足绝大部分日常的组织H&E染色样本，如果有例外情况出现，需要更高倍镜观察，病理专家可以回到显微镜下进行手工镜检。虽然数字化阅片在病理学中具有广泛应用，但在细胞病理和血液病理领域，数字化阅片的发展是停滞的，原因在于这两个领域的样本需要更高倍率、更高分辨率的扫描，有的还需要多层扫描。过长的样本数字化时间（效率低下）使得数字化本身不具有临床实际使用的意义[8]。

图3. 宫颈液基片人工阅片时间

图4. 宫颈液基片扫描时间与文件大小，可见如

果使用40X倍镜扫描7层，将耗时95分钟

四、临床检验中镜检项目的要求与自动化解决方案

1. 临床检验工作中的镜检项目与显微镜要求：与病理科样本相比，临床检验实验室的样本类型更为多样，常见的有血涂片、尿沉渣涂片、痰涂片、骨髓涂片、体液涂片（胸腹水、脑脊液等）、细菌涂片等（表5）。观察对象从人类细胞到微生物及寄生虫。样本异常的种类繁多，样本染色方法多样，显微镜观察又以高倍镜为主，而细胞学则更提高至油镜，操作繁琐。

表5. 病理科与检验科镜检项目比较

2. 当前实验室的镜检自动化及替代方案：临床检验由于样本量大，出报告时间短，因此这个领域会优先使用自动化设备来替代人工，提高效率。最为典型的是三分群或五分类血细胞计数仪取代人工镜检下计数血细胞。现代血球仪进一步地运用流式细胞仪原理和激光散射或荧光染色技术，将血细胞计数的种类与精确度推到了新高度。

高倍镜镜检自动化难度极大，在实用技术出现之前，有部分镜检项目可以根据其样本属性用其他方法排查，如血球仪，只有触发复检规则时才需要人工镜检复核。尿沉渣检查也有初筛的方法，如使用原始尿注入一定厚度的空腔后，用大景深物镜进行拍照排查；同时使用化学法来检测隐血、白细胞、细菌的成份，只有确认阳性后才需要制片人工镜检复检。使用这些初筛方法可以去除90%左右的阴性样本，有效地减轻了检验人员的工作量。但是由于医疗水平的不断提高，送检样本量也是逐年递增，而形态科学家人数的增长速度远低于样本量的增长。因此即使去除了绝大多数阴性样本，对大量剩余样本的镜检工作仍然是医学检验中的一个难题。

长久以来，诊断公司一直在尝试直接将显微镜自动化来完成这些镜检项目。目前最成功的案例为大家广泛使用血细胞分析流水线上的血细胞形态学分析仪，即Cellavision公司生产的显微镜成像与血细胞分类计数仪。血球仪发现触发复检规则的样本后，立即推片染色，玻片被转运至DM96阅片机。阅片机使用油镜拍照至少100个左右的白细胞行分类计数，最终由形态学专家确认结果后发出报告。虽然机器的效率不及人工，但可缓解形态学专家的工作压力。

五、高倍镜数字化的困难与解决

1. 检验科样本量与报告时间：检验科需要镜检的项目种类繁杂，样本量大且通常需要使用高倍镜阅片，总体报告时间在1~3小时以内。形态学专家在检测外周血涂片时，每个病例平均检测时间为1分钟，骨髓片计数时间为3~5分钟，尿沉渣玻片为1分钟。如果按15%左右的外周血复片率计算，血常规量在1000例左右的医疗机构，每天会有150张血片，100张尿沉渣片及50~100张微生物或血液学检查样本，总计每天的镜检数量在200~300张玻片左右，工作十分紧张。

2. 显微扫描时间问题：在前面章节中我们介绍了20X或40X干镜扫描玻片的中位时间在6分钟左右，即使高倍镜扫描时间与之相同，在检验科中也没有实用价值，因为机器的报告时间已经超过了人工时间。实际情况是使用100x油镜扫描全片WSI将耗时2个小时左右，目前为止市场上尚无有实用价值的仪器出现。

3. 高倍镜扫描时景深问题：高倍镜或NA1.25以上物镜的光学分辨率为0.2μm，可以观察到细胞胞浆和细胞核的形态特征，因此在微生物、血液、体液样本镜检时都要用到。从表4中我们可以了解到，NA1.25以上的油镜镜头的成像景深已经缩小至0.4μm以内。在这个工作精度下，即便人工操作油镜也十分繁琐，需要实时调节聚焦，因为载物台移动会导致焦距随之改变。

在前文章节中提到过精密加工的精度极限是1μm，而油镜操作精度要求在0.4μm以内，高于精密加工的精度极限，因此油镜下仪器拍照的方式与人工相同，即每个视野都需要重新聚焦后再拍照。机器拍照速度约为每秒一帧，按0.1μm/像素的分辨率计算，全片油镜数字化需要大约2万个油镜视野，总扫描时间会超过2小时。即使在这种工作方式下，仪器也有用武之处，例如蔡司公司的染色体核型工作站，因为分裂相只需要采集20个，仪器操作的时间并不比人工镜检长，因此仪器可以在夜间工作，形态学专家在第二天白天阅片。但这仅局限于对报告即时性要求不高的检测，如细胞遗传学检查。

4. Bionovation（苏州丰泰医疗贸易有限公司）系统优势：针对检验科的样本特点，一台有实用价值的形态学工作站需要使用100x油镜，以0.1μm/像素的采样分辨率，在一分钟内完成一个样本的扫描与检测。这样才可以将样本上所有可能的异常细胞或微生物检测出来，并且将油镜扫描时间从2小时缩短到60秒内完成，真正满足临床的报告时间和工作要求。

经过14年的艰难探索与反复实验，结合材料科学、结构力学与数学，Bionovation的研发团队终于可以在20秒内对任意载玻片完成全片聚焦运算，即仪器在20秒内完成聚焦后，用油镜观察载玻片的任意区域都呈清晰的聚焦状态。Bionovation的形态学工作站使用1台或2台光纤10G SONY IMX250芯片相机对样本进行拍摄，每台相机每秒可输出8亿个像素。使用一台相机的情况下，可在3分钟左右完成油镜全片数字化，使用双相机可在2分钟内完成。预计今年将推出2台Sony IMX535每秒24亿像素输出相机同时拍照的配置，在40秒内完成油镜全片扫描，载玻片在机时间有望控制在60秒内。

5. 数据远程访问、存储成本与数据安全：与数字化病理相同，检验科样本玻片数字化后便可实现远程诊断。由于检验样本报告的即时性要求，很多样本的制片与阅片要在30分钟内完成。以前即使有疑难玻片也很难将玻片寄出会诊，而数字化后则可方便地邀请资深形态学专家进行远程实时会诊。检验科的玻片数字化将有助于提高基层医院诊断的准确性与即时性，降低患者的医疗费用。

尿沉渣镜检样本基本无法保留，血常规复片或微生物样本数据，按目前数据存档规则为保留一周时间，每个样本可有400~800亿个像素，文件大小为5~20G，使用30T左右的磁盘存储空间足以满足日常工作，存储成本为一次性投入1~2万人民币。

对于胸腹水、脑脊液等重症患者样本，通常要求存储时间为2年，但此类样本数量并不太多，预计每年500张以内，存储成本在1万人民币左右。

血液病实验室的骨髓涂片与外周血涂片，由于病人复查次数多，玻片数量每年会有一千至一万张不等。玻片需要五年存档，多数医院还承担教学任务，病例玻片数量往往会超过10万张。这些玻片的数字化将有助于病例的总结与教学，例如江苏省人民医院血液病理实验室使用Bionovation的扫描仪将玻片数字化后，供同行讨论学习。对于需要存档10万张以上数字玻片的用户，磁带存储是个理想选择，10万人民币即可获得2PT（2000T）的存储空间，每张数字化玻片按10G文件大小计算，可存储20万张数字化玻片，平均成本为0.5元/张。

Bionovation提供数据的反向访问技术，用户无需上传数字化玻片，系统能生成数据链接，供外部专家访问到数字玻片。供远程访问的数据专门存放在数据服务器上，与单位内网物理隔离，保证了网络安全。

六、深度学习（卷积神经网络）介绍和人工智能训练

1. 数字化的意义：样本玻片数字化后，最令人向往的前景是计算机辅助诊断（计数、检测、分类），特别是近年来深度学习的长足发展，使这一愿景逐渐实现。在病理领域，深度学习算法已经解决了很多问题，最常见的如免疫组化PD-L1、HER2定量检测[9]样本H&E染色后色差去除；样本中的细胞核及细胞的分割，定量IHC染色等级；组织内功能结构的识别，如血管、淋巴结等；甚至对肿瘤组织进行区域的识别、亚型判定、分级、生存期预测、突变预测和治疗响应预测（图5）[10]。

图5. 深度学习在不同肿瘤领域的研究数量，中心深色区为FDA审核

项目，中间过渡区为室间评估，外围淡色区为内部评估[10]

由于细胞病理和血液病理领域缺乏高效的扫描工具，因此利用深度学习来自动分析样本的研究相对滞后。直到最近才有德国学者组织了形态学专家组，从945例骨髓涂片样本中提取了171374个细胞作为“标准数据”进行训练。骨髓涂片数字化是用40X油镜扫描，IMX250芯片相机采样，分辨率为0.09μm/像素[11]。训练结果显示对细胞分类计数准确性最高的类别是嗜酸细胞和原始粒细胞，准确率达到91%，识别准确率较低的幼稚淋巴细胞为57%（图6-图7）。

图6. 171374个骨髓细胞被分为21类，分类结果由多位形态学专家交叉确认

图7. 使用RESNET50训练，平均准确率在80%左右

2. 卷积神经网络的通俗理解：计算机对图像的描述或比较必须是数字式的，例如要比较两个线段的长度，只需要一个参数：长度，便可得出结论。如果将三角形与圆形区分，计算机需要多个参数：面积、高频（折角变化）等。当处理复杂（有众多特征）二维图像时，深度学习将使用n个特征提取器（滤波器、卷积运算）提取特征。特征提取交叉循环（神经网络），一个二维图将被提取几千个特征值，相当于多参数的流式细胞仪，一个细胞被标记了几千种抗体测量。如果将几千个参数形成坐标，不同属性的细胞会形成群体。如图8中显示，深度学习将一个二维图用不同的测量方式测量后变成一个高维空间的点，然后对这些点作聚类运算，如果原始图像有相同属性（标注时归为一类），算法将在这个高维空间下寻找一个最佳的观察角度（设门），将其与其他类别相区分。这个坐标系下的观察角度就是一个AI训练模型。

（1）不同功能的深度学习网络：深度学习AI算法经过多年的发展，识别分类的准确率不断攀升，各种高效的分类、分割、检测或特殊任务的网络不断涌现。以下列举一部分Bionovation系统中集成的深度学习网络。

图8. UMAP算法将2048维降至二维显示细胞分群结果[11]

（2）分类网络：ResNet系列。2015年，微软亚洲研究院提出ResNet网络，以3.75%的top-5的错误率获得当时的ILSCRC大赛冠军。ResNet进一步分析了网络深度对性能的影响，并以其独特的残差结构（Residual Unit）大大地加深了网络的深度，可以提供152层的网络。此外，使用残差网络结构还能够加速网络的训练速度，使网络更快收敛（图9）[12]。

图9. 不同深度的ResNet网络结构

（3）检测网络：Yolo是You only Look Once的缩写，是一种端到端的检测网络，也是目前最优秀的检测网络之一。它将复杂的检测逻辑转化为回归问题，从而简化了计算流程，因此Yolo网络在检测速度上具有明显的优势。Bionovation产品对Yolo网络进行了适应性开发，其中Yolov4-tiny网络在单块NVIDIA RTX 2080的峰值检测速度可达到300FPS。

（4）分割网络：Vgg_segmet是结合现有深度学习网络和具体需求自行设计的分割网络结构。在Vgg_segmet中使用vgg16深度学习网络来进行图片特征提取，然后结合自行设计的，针对分割需求的网络层，组合成Vgg_segmet分割网络。当前的Vgg_segmet分割网络在分割的颗粒度上和精确性上都能达到比较好的效果。

3. 深度学习训练与使用的硬件基础：（1）1962年，Hubel和Wiesel，猫的视觉系统研究；（2）1975年，Kunihiko Fukishima(福岛邦彦），Cognitron ；（3）1980年，Kunihiko Fukishima(福岛邦彦），Neocognitron ；（4）1989年，Lecun，《Generalization and Network Design Strategies》、《Backpropagation Applied to Handwritten Zip Code》；（5）1998年，Lecun，《Gradient-based Learning Applied to document Recognition》，LeNet-5的提出；（6）2006年，Jake Bouvrie，Notes on Convolutional Neural Networks 2012年，Alex，《Imagenet classification with deep convolutional neural networks》[13]。

虽然关于卷积神经网络的算法思路在上世纪已经完成，但直到GPU（图形运算卡）的并行运算性能大幅提高并可大规模使用后，深度学习才真正普及。图像在计算机层面是一个二维数组，对图像的处理就是对每个数值进行计算，2000x2000个像素图像共有4百万个数值需要计算，CPU并不能很好地执行并行运算，因为每个数值运算都要占用一次CPU的逻辑核（线程）。目前通常使用的CPU为8核16线程，一次只能处理16个数值。GPU则相反，提供多达5000~15000个逻辑单元CUDA核，其设计目的就是高速处理像素。

TOPS是Tera Operations Per Second的缩写，1TOPS代表处理器每秒钟可进行一万亿次（1012）操作，表6为不同GPU的算力。英特尔最新I9 18核处理器的算力约1TOPS。

表6. 不同GPU的算力值

Bionovation扫描仪最多可配置两台GPU工作站，一台与扫描仪连接，在样本扫描时AI可实时处理图像，另一台工作站提供大容量数据存储和扫描后AI分析服务，可支持50人以上同时阅片并运行AI程序。每台GPU工作站最多可配4块GPU，如RTX3070、3080或3090。

4. 区域实验室自标注自训练解决方案：深度学习的本质是把数据标注专家的分类方式教给计算机来执行，所以必然会带有主观性。形态学分类虽然有教科书提供的最基本的分类原则，但由于各实验室间样本制备、观察工具等差异，不同实验室对样本判定结果的重复性与准确性很难维持在一个稳定水平。但在实验室内，无论从样本制备状态还是阅片习惯上，长时间内是趋于稳定的，这就使在实验室内运用深度学习来进行辅助检测成为了可能。

5. Bionovation的AI方案设计为：（1）一个独立的形态学专家使用数字化玻片框选细胞并分类计数，完成第一个样本的报告。（2）形态学专家可以将第一例样本的报告数据传给AI训练，AI训练后（小样本训练），给出第二例样本的分类报告，然后专家只需在AI结果上对第二例样本结果进行调整，工作量将小于作出第一例报告。（3）循环往复后，预计AI最终与形态学专家的符合度在80~95%之间，即可降低80%以上的工作负荷。

个人化的AI将快速提高形态学专家的阅片水平，因为报告数据全部存储，如果行业有新标准或进展可以随时调整。标注数据在高年资专家指导下纠错更新，最终可达到个人报告的高度重复性，实验室内报告达到一定的统一性。进一步地，在实验室间统一样本处理流程后，室间报告也可以达到互认。

七、高倍镜扫描与深度学习在检验项目中的应用

1. 形态学法的血细胞分类计数：上世纪七十年代前，库尔特阻抗法计数细胞还未发明时，血细胞的分类计数都在显微镜下完成。人工形态学分类计数虽然效率低下，重复性差，但它至今依旧是血细胞分类计数的金标准。形态学计数有着阻抗法、激光散射法、荧光染色法无法取代的优势：（1）抗干扰能力强，EDTA抗凝引起的血小板聚集后计数不准的问题，在形态学方法下可以排除；（2）准确性更高，单核细胞与淋巴细胞在瑞氏染色时更容易区分；③可计数更多的细胞种类并确认异常细胞；（3）可以检查寄生虫感染，如疟原虫感染。依靠人工显微镜检查的形态学法缺点包括：①效率低下，基本手工操作；②主观性强；③分类计数的准确性、灵敏度依赖于形态学专家自身的专业能力。

使用自动化设备实现基于形态学法（金标准方法）的血细胞分类计数无疑是血细胞仪最终的发展方向。在这个方向上有不少公司进行了尝试并在逐渐实现中。

2. Cellavision公司系统介绍：Cellavision是目前使用最广泛的外周血血细胞形态学自动化分类的仪器，位于瑞士的Cellavision公司生产的DM96、DM1200和DM9600阅片机通常与Sysmex、Beckman Coulter公司的血球流水线联合。触发复检规则的样本进入推片、染色流程后，外周血涂片由阅片机完成100个白细胞的分类计数及相应视野内红细胞的形态学分类。形态学阅片机整合到血球流水线后，血细胞分类计数基本完成了全自动闭环，所有环节都实现了自动化，检验医师只负责对检测结果进行审核。

目前五分类血球仪的检测速度平均为100标本/小时，按15%比例复检，每小时约有15张玻片会输送到Cellavision阅片机上。阅片机采集100个白细胞做分类计数，平均每张玻片的分析时间为2分钟，其中中性分叶核粒细胞的分类准确性为92.5%，淋巴细胞为96.4%，单核细胞为81.4%，但对于一些含量低的细胞类型，如幼稚细胞，浆细胞，嗜酸性、嗜碱性粒细胞，检测细胞数量太少易导致漏检或结果不准确，文献同时报道通过增加阅片检测细胞的数量，稀有细胞的检出率灵敏度会提高，综合下来一台阅片机的工作效率接近于一名形态学专家[13]。

Cellavision阅片机的工作流程为先使用10x镜扫描样本，找到体尾交界可阅区内的白细胞，然后选择其中的100个白细胞，并使用100x油镜对其依次拍照和分类计数。在实践中，单台阅片机的速度虽然与一个形态学专家相当，但对异常样本的分析能力不足。对于大样本量的机构需要几台设备才能匹配血球仪的速度，更为重要的是，由于机器阅片采样数量少而无法排除假阴性（形态学复片的目的），人工阅片仍不可被取代。

图10. cobas m 511与Sysmex NX检测结果比较

3. 罗氏公司cobas m 511介绍：罗氏公司在2012年以2.2亿美金收购了Bloodhund公司的一体化图像法血细胞分析仪，并于2017年获得FDA批准用于血细胞分类计数。Bloodhund技术最大的创新点是血细胞喷涂技术，血膜的形成不是传统的推片法，而是由一根细针将血细胞均匀地喷在玻片上。这种方式下制成的血涂片，细胞分布均匀，没有传统推片后的体尾交界处，各类型细胞均匀分布，没有海岸线效应。更为重要的是制片实现了定量血推片，即玻片上的血样体积是固定且样本均匀分布，能够较好地避免采样误差。

cobas m 511血细胞计数图像法一体机检测结果与人工镜检总体符合度为95.7%，对异常细胞检测灵敏度与特异性分别是95.9%与74.6%，与Sysmex XN结果相关性R≥0.95。图10显示，通过图像法运算得到各参数结果与血球仪检测结果几乎一致[15]。

cobas m 511的各项参数与传统血球仪相当，但其售价在30万美金以上，每小时可检测60个样本，虽然结果可以一步到位，没有再次人工复检的要求，但相对于十分之一售价的五分类血球仪，其性价比明显不足。2018年上市后反响平平，目前已经停止销售。

4. Vision Hema（West Medica，Perchtoldsdorf，Austria）和EasyCell Assistant（Medica Corporation，Bedford，MA，USA）血细胞形态阅片机与Cellavision原理类似的外周血涂片阅片机目前还有两家公司尚在销售。推出Vision Hema血细胞形态阅片机的West Medica公司位于奥地利，是一家专注于显微成像与分析的公司，该公司拥有完整的基于普通显微镜基础的扫描系统，以及丰富的基于AI算法的分析软件，包括：外周血涂片血细胞分类计数、骨髓细胞分类计数、微生物分类计数软件、精子形态分析等。另一家EasyCell公司的阅片机EasyCell Assistant整体工作流程与Cellavision相同，可以计数100~200个白细胞，准确率相当。此外在过去10年中，国内有多家公司仿制了Cellavision系统，性能与之类似，但目前都已从市场上退出。

5. Bionovation产品设计理念：Cellavision及类似产品（最高峰时有5家以上）作为血涂片阅片机尝试替代人工阅片，但实际应用中缺乏实用性，如果不依附血球厂家流水线的打包销售，作为独立产品时，难有生存机会。原因如下：（1）检测细胞数量过少，稀有细胞计数准确性差，易出现假阴性结果；（2）速度慢，如果增加采样数量提高灵敏度时，其效率就远低于人工阅片。由于这两点原因，人工阅片无法被完全取代，机器的价值十分有限。对于血涂片，人工阅片的流程为：先低倍镜整体观察全部样本，搜索各种异常可能，如：异常细胞、寄生虫；若发现异常则使用100x油镜观察描述，无异常则选择体尾交界处的100个白细胞作分类计数。基于100个白细胞的报告只对含量超过10%以上的群体可靠，计数含量在1%以下的细胞群体时，细胞计数数量要增加到1000个以上。

流式法的血球仪数据可靠性高的基础是细胞检测数量大，通常白细胞计数超过5000个，这个特性就如同人工全片搜索异常一样，排除了假阴性的存在。在排除假阴性情况下，计数10个、100个或1000个细胞时，只是报告精度不同，不影响样本的定性（正常或异常）。自动化的阅片机只有在满足以下条件时才具有实用价值：（1）检测灵敏度是人工的10倍以上（可以假阳性）；（2）检测时间是人工的十分之一；综合效率是人工镜检的100倍以上；（3）机器检测结果由形态学专家复核，假阴性概率低，且形态学专家无需再回到显微镜镜下观察样本。血球仪能成功替代大部分人工镜检也是相同原因：① 计数5000个以上细胞；② 每小时60个样本以上；③ 在复检规则下，几乎无假阴性。如果人工镜检做同样事情时，综合效率会慢百倍以上。

通常情况下，血涂片推片的血量在1~2μl左右，正常样本时全片的白细胞数量在4000~20000个。中位值在8000左右，由于形态学检测的特点，单个目标物即可确认，阳性检出率可认为是单个目标物/μl，这个检测灵敏度是其他方法学无法比拟的。为了排除假阴性，血涂片全片扫描是最理想的方式，保证了对样本采样的完整性。为了识别最小的病原体，光学分辨率必须是0.2μm（NA1.25以上的油镜），数字采样分辨率小于0.1μm/像素。单样本的检测时间小于1分钟，即全片数字化时间在60秒内。在这个速度下，阅片机才有可能满足大型医疗机构复片要求（每天150张血片），单例报告半小时内完成。或直接采用形态学法的一步法血细胞计数仪，不再有复片的要求。

图11. Bionovation扫描仪外周血白细胞1024维特征提取后降维到2维后，五分类白细胞的散点图

Bionovation的形态学工作站使用2台IMX250芯片相机时，可在2分钟内完成整张玻片的100x油镜数字化扫描，自动涂片机可使用1~5μl血样制成全单层血片，染色后全片扫描。对于外周血样本，扫描进行时，AI会实时搜索疟原虫感染（其他寄生虫感染视需要可以执行）、细菌、分类计数白细胞、血小板及红细胞形态。由于是全片扫描，全片所有细胞都会被分类计数并提示异常，报告时可以指定只计数体尾交界处细胞（100~100百万个细胞）。图11为AI计数五分类细胞的2维特征散点图。由于血涂片全片已完成油镜数字化，形态学专家无需再回到显微镜下观察样本。

6. 尿沉渣检查的自动化分析：检验科的三大常规之一：尿沉渣检测，由于其原始样本需要富集，且成份复杂、多样性高，全自动化的历程坎坷，各种方案使用下来都有不足之处。由于尿液样本有形成分浓度不一，金标准方法要求使用浓缩尿提高检测灵敏度。过程如下：尿液10ml离心5min，相对离心力（RCF）为400，弃上清，留沉渣尿量0.2ml混匀，吸取20μl，滴在玻片上用18mm×18mm盖片覆盖，先用10×10低倍镜观察全片，再用10×40高倍镜仔细观察，检查细胞至少10个视野，检查管型至少20个低倍视野，报告以高倍视野所见最低至最高数字表示。如果在滴片前使用Sternheimer-Malbin（SM）染色或S染色，各有形成分在镜下更易观察。

（1）IRIS及其他图像系统介绍：同血球仪一样，尿形态学分析仪设计思路也是初筛法，将大部分的阴性样本排除后，人工镜检只检查疑似阳性样本。IRIS于1983年推出全世界第一台自动化尿沉渣检查工作站YellowIris后，开启了尿液自动化分析的历程。下面简单介绍一下Iris iQ200产品（摘自Beckman Coulter公司Iris iQ200介绍）[16]。

图12. Iris iQ200拍摄的尿液有形成分

（2）数字化流式形态学检测：利用缓冲等张液iQ鞘液的水动力聚集功能及流式细胞计数池的层压进行检测。① 可实现有形成分以尽量平铺不重叠的方式，最大剖面朝向显微镜镜头进行图像捕捉。② 自动粒子识别（APR）功能对图像中的有形成分进行分隔、特征分析及自动分类。

7. 有形成分图像利于屏幕复查和培训（图12）：（1）可直接通过屏幕结果界面进行检测结果的复查，缩短样本周转时间。（2）有形成分图像可储存，便于样本结果的回顾。（3）所有检验人员看到的是同一张有形成分图像，利于科室人员培训。Iris尿仪与其他形态学法设备原理类似，原始尿被泵入一定高度空腔流动室内，使用10x、20x物镜（低NA，高景深）拍摄尿液。空腔芯片有两种方式：流动型和固定体积型。流动型空腔芯片，尿液在其中连续流动，单次检测尿量可以连续设定，时间越长样本抽样体积越大，灵敏度越高。固定体积型为单次灌注一定体积（100μl~200μl）尿量后，待有形成分沉降到芯片底部拍照。

原始尿液直接形态学检测的最大挑战是如何避免假阴性。大体积的管型或团块物容易沉底，导致小样本量原始样本取样时容易遗漏。流动中拍照或沉底拍照都存在样本漂浮翻动成像效果不理想的风险。该类型的尿沉渣仪器检测到阳性目标物后，通常需要用户再次按照金标准方法重新制作后镜下复片确认。

8. Sysmex UF流式法尿沉渣仪介绍：流式细胞仪方法检测液体中的粒子是一个高效工具，Sysmex公司的血球计数技术同样可用于尿液内有型成份的分类计数。使用荧光染色与不同角度散射光，可以区分白细胞、红细胞、管型、结晶与细菌。因为该仪器还是初筛设备，任何阳性样本，都需要用户将尿液离心制片后镜检。

9. Bionovation产品介绍：Bionovation扫描仪使用60X NA1.25油镜，采样分辨率为0.17μm/像素，可全片扫描SM染色后的尿沉渣玻片，扫描时间在60秒内。样本中1μm以下的杆菌、球菌等成分均清晰可见。经SM染色后，尿液标本有形成分原有状态得以保存，且对管型、上皮细胞等成分鉴别有明显优势。通过ResNet50网络训练，可完成自动分类各尿液有形成分。（图13-图15）

图13. 白细胞、上皮细胞及管型

图14. 颗粒管型和细胞图像

图15. 大量白细胞

使用浓缩尿制片观察的最大好处是可以最大可能地排除假阴性，但是连续的大样本量尿常规检测，每个都需要5分钟的离心浓缩后阅片，工作量巨大。Bionovation正在开发更快的样本富集方法，使一个尿常规按标准浓缩法制片后全片扫描、结果输出总时间控制在一分钟以内。

10. 胸腹水脱落细胞学检查：胸腹水样本虽然数量不多，但多涉及有明显症状的传染病或肿瘤诊断。如果送检目的是检查有无结核杆菌或寄生虫感染，通常是临床检验的范畴；但如果送检目的是确认是否存在肿瘤细胞，则是细胞病理的范畴。同一份样本可能会送检至不同部门，但由于样本抽样问题，检验人员看到了肿瘤细胞、病理人员看到了寄生虫或细菌。如果样本玻片数字化后同时发送两个部门阅片，会在一定程度改善这个情况。

（1）胸腹水及其他体液样本的多样性：送检胸腹水或其他体液样本时，多是为了查明病因。从感染到肿瘤，引发疾病的原因多样化，所以体液样本阅片时要求形态学专家必须经验丰富，不漏检各种可能性。体液样本中的细胞浓度不同于血液，前者浓度范围跨度大，如肉眼可见清澈透明的样本中细胞量少，需富集后制片；而血性样本需要稀释后制片。另外，采集样本的体积差异大，有多到几百毫升的腹水，也有少至几十微升的脑脊液。液基薄层细胞制片技术对于标准化体液样本制作是个理想选择，制片的方法有：① 膜过滤法；② 离心沉降法；③ 自然沉降法等。使用标准化的商业仪器制片，可以显著提升制片质量，并且可以定量样本制片，方便计算细胞绝对浓度。缺点是检测成本上升，检验科形态学检查一般收费较低，广泛采用有一定难度。

（2）Bionovation盲扫技术及细胞自发荧光检测：体液样本中细胞数量过少（如脑脊液）是阅片的一个难点，即便只有几个细胞，也无法排除其阳性可能（有诊断价值）。镜下搜索往往是形态学专家最花费时间的环节，搜索到异常细胞或有形成分是做出正确诊断的基础，当无法判断属性时，可以求助远程会诊。样本有形成分过少不仅会使人工阅片时间延长，也会导致大部分显微扫描仪无法工作，因为扫描时需要聚焦样本，当样本中没有物质提供Z轴聚焦高度时，扫描就无法完成。如果使用Bionovation聚焦玻片与算法，可以克服这个问题。“盲扫”是指仪器扫描玻片时无需聚焦样本，即使载玻片上没有任何物质，仪器依然可以将镜头的焦点锁定在载玻片上方的任意高度，如扫描玻片上方0.5μm、1μm或5μm层，用来检测不同大小的物质（图16-图17）。

图16. Bionovation聚焦玻片

图17. 无样本聚焦点时，载玻片上固定

高度的样本都处于聚焦状态

11. 骨髓涂片AI的应用方向：机器学习最适合于单个目标的识别与分类，在工业生产中被广泛应用，如宏观领域的电路板缺陷检测，微观的晶圆缺陷检测（工业显微镜）。机器视觉（包括深度学习）在方法、流程上都已经相对成熟，但骨髓细胞分类却鲜有使用自动化机器的。即使Cellavision在外周血、体液检查中应用多年，目前也没有拓展到骨髓细胞分类上。

12. 骨髓涂片检查有其特殊性：（1）制片无法标准化，骨髓穿刺样本多为不抗凝样本，样本采样量小，抽取后直接推片。推片质量差异大，样本厚度高，通常含有骨髓小粒。（2）染色试剂及染色方法实验室已经形成多年习惯并对应一定的阅片习惯，不容易改变或达到室间一致。（3）细胞分类数量众多，细胞类型为连续过渡，种类之间相互叠加，不满足机器学习分类要求：即类别差异明显要求。（4）人工阅片时需要全片搜索可能的异常细胞，不像血常规玻片给出100~200个细胞分类计数即可。（5）玻片数字化时，个人对色彩的感觉不同，不同形态学专家之间对样本细胞颜色设置不统一，AI训练模型大范围内使用有困难。

当机器假阴性率比人工高时，机器的作用就有限，这就是当前骨髓形态机器的困境。目前市场上的骨髓细胞阅片机的设计思路同外周血涂片机器类似，在骨髓涂片的任意单层区选取200个细胞报告，但忽略了骨髓阅片时的最关键的步骤：全片搜索并描述可见异常（99%工作内容），而是更关注选取典型区域（0.9%工作重要性）、分类计数200个细胞（机械重复工作）等相对不重要的内容。

八、骨髓涂片的自动化阅片流程需要遵守骨髓病理专家的工作思路

1. 全片搜索异常细胞：由于骨髓制片的特殊性，异常细胞可能出现在涂片的任意位置，全片数字化是基本要求，这样形态学专家才能浏览检查整个数字化玻片。通过训练相应的AI来辅助搜索：如巨核细胞计数、嗜血细胞计数、戈谢细胞计数或其他具有诊断价值的形态学异常。由于机器已将骨髓片全片数字化，可以使用弱监督全片特征提取训练对疾病的诊断方向给出提示[17]。文章中作者收集了236例MDS和87例MDS/MPN样本，使用骨髓活检细胞穿刺组织微阵列样本全片训练，模型可预测TET2基因突变（ROC=0.94），spliceosome突变（0.89）和7号染色体单体（0.89）。这些基因突变后引起形态学改变并被AI提取识别。（1）骨髓细胞分类计数的报告位置的选取，通常由形态学老师根据样本状态来设定，也可以训练AI报告所有单层可阅区的细胞计数（报告数量可至百万个细胞，在MRD检测中使用）。（2）200~100万个细胞报告数量，报告细胞数量越多，灵敏度越高，但审核的工作量也会越大。形态学专家可以根据样本的涂片状态、疾病类型做出选择。（3）一个病人送检时通常为2张外周血涂片和2张骨髓涂片或其他特殊染色玻片，机器可全部数字化并存档，疑难病例可能需要审阅所有玻片后汇总形成综合性报告。机器需要具备病例管理与报告生成功能，与LIS系统互通。

Bionovation显微扫描仪的骨髓应用是按照以上思路设计的。由于血液病理样本量较大，报告有一定的即时性，扫描仪提供30片连续上样，单张玻片的扫描时间单相机配置时为3分钟内，双相机配置为2分钟。

2. 微生物检查：（1）抗酸染色结核杆菌检测：痰及其他样本涂片抗酸染色后检测结核杆菌是诊断结核病高效、经济的方法。市场上已经有成熟的样本制备与阅片机器，流程与人工阅片类似，100x油镜拍摄300个视野后软件识别出被染成红色的杆菌，形态学专家确认后签发报告。整个过程可实现自动化，缓解了实验室工作压力并降低了感染风险，检测结果的重复性与可靠性也得到了提升。（2）革兰氏染色微生物鉴定：原始样本，如：体液、分泌液，涂片后如果能发现病原体感染，是最快速、直接的诊断感染方法。革兰氏染色后，深度学习识别阳性与阴性细菌的结果准确性高。参考文献17、18中显示深度学习模型对革兰氏阳性簇状球菌、链状球菌和革兰氏阴性菌区分灵敏度与准确性分别为：98.4%和75.0%；93.2%和97.2%； 96.3%和98.1%；检测质量已经超过人工阅片。参考文献20中提出了AI检测细菌感染的报告形式，同时强调有经验的形态学专家对报告审核的重要性（见图18）。（3）Bionovation扫描仪细菌扫描：Bionovation扫描仪100X油镜扫描的图像质量可以区分出不同细菌的形态学特征，全片扫描时，2~3分钟内AI同步搜索20000个视野中的各类型细菌，扫描结束后结果即可呈现，最大可能地提高了检出的灵敏度。

3. 高倍镜多色荧光及全光谱扫描的实现：使用荧光标记的探针或者荧光染料标记样本是检测样本抗原表达（荧光抗体）、基因表达（FISH探针）和细胞功能（功能性荧光染料）的基本方法并被广泛使用。临检实践中使用最多的是自身抗核抗体免疫荧光检测，FISH探针分析，以及目前逐渐发展起来的微生物荧光染色。

（1）显微镜荧光数字成像的问题：它与明场照明不同，荧光成像有淬灭问题，视野内激发光照射时间长后，荧光信号会衰减；数字荧光成像时，相机需要1ms以上的曝光时间才能看到荧光信号；这些问题使得荧光扫描难度增大：① 聚焦时间要短，否则荧光信号减弱，因此多为低倍镜扫描，20X物镜多见；② 成像时间长，每个视野都要停止曝光，无法像明场一样快速移动式扫描。

图18. 不同革兰氏阴阳性细菌标注数据特征提取后降维图与AI报告的方式[20]

（2）TDI相机荧光成像的优势：TDI相机全称为时间积分相机，设计用来拍摄快速移动物体。其特点是像素信号随移动物体一起移动并累加，信号累加的同时消除背景噪音，最后图像的整体信噪比提升。TDI相机拍摄荧光在生物领域已经成功应用，如测序仪内的荧光信号读取便是使用TDI相机。TDI相机可以显著缩短荧光扫描时间，增加成像的灵敏度。Bionovation使用60X APO NA 1.4油镜配合TDI相机，采样分辨率为0.1μm像素，可实现30mm/秒的扫描速度，成像荧光灵敏度在100MESF以内，全片以最高光学分辨率进行多色荧光扫描可在3~5分钟内完成。

（3）全光谱成像的介绍与应用：TDI相机的成像单元小，一个26.5mm视场的显微镜物镜可容纳10条左右的TDI成像条带，即单个10条带TDI相机单次可成像10色荧光。使用滤光片分光将400~800nm波段截成四段后分别由四个相机按10nm波长带宽采集信号，最终形成400~800nm区间的10nm带宽的40色荧光光谱图像。不同荧光素之间的发射光谱叠加是荧光素使用不便之处，容易造成假阳性。由于每种荧光素都有独特的发射光谱，光谱成像后可拆分出每个荧光素的独立的发射光谱。光谱荧光检测技术目前广泛应用于流式细胞仪中，荧光素光谱叠加不再成为使用障碍。

4. 荧光成像在检验科中的应用：（1）FISH与MFISH原位快速检测细菌及各类病原体种类鉴定荧光原位杂交是使用直接/间接荧光标记的一定序列的寡核苷酸与样本中的互补序列进行配对，从而检测是否存在目标基因的方法。检测发生在样本原位，最大的优点是保留了样本环境信息，较容易区分出假阳性。通常检测的是样本中拷贝数足够多的基因，避免了PCR的复杂扩增操作。FISH杂交本身操作可实现自动化，可满足临床检验所需较大规模样本前处理。鉴别样本中的病原体以给出感染诊断及用药指导一直是临检工作中的难点。金标准方法是细菌培训与鉴定，耗时长，准确度不高；近年发展起来的NGS技术为最理想的方法，可将样本中所有的可能病原体测出，但仪器较贵，检测成本高，并存在假阳性风险（条件致病菌）；蛋白质谱也是一个可行的方法，但依赖数据分析的准确性。另一个检测选项是使用针对微生物16s rRNA序列设计FISH探针，可以区分出各类型微生物及其亚型（图19）[21]。

图19. 不同菌种的FISH探针序列及荧光标记

病原体通常包括细菌、病毒等，种类繁多，如果检测要覆盖所有可能的病原体，需要几十种探针。MFISH（多色FISH）技术提供了这种检测多种病原体的可能。由于一种序列的FISH探针只能和一个目标结合，因此一个细菌只能被一种FISH探针杂交。虽然用于标记的FISH探针的荧光素种类有限，但通过排列组合（不同颜色的荧光分子混合后发出不同的荧光，如红+绿最后形成黄色荧光）可以得到2^n-1种颜色，n为荧光分子的数量，如果使用4种荧光素可得到15色探针，5荧光素可得31色。MFISH是理想的检测病原体的方法，它不仅可特异性检测出病原体，还可提供感染部位的信息，判断感染严重程度（图20）[22]。

图20. MFISH检测显示不同样本部位的不同细菌生长情况[22]

（2）微生物直接荧光染料检测。临检工作中通常使用革兰氏染色来搜索与鉴别细菌，由于样本中的细胞也同时被染色，细菌信号往往被淹没在背景中。细菌细胞与哺乳动物的细胞结构不同，故可以设计专门的荧光素染色细菌细胞的特殊成份与背景相区分。图21中列举可用于微生物染色的荧光染料。金胺“O”-罗丹明（B）（Auramine O Rhodamine B）荧光染色检测结核杆菌的阳性率与阅片效率都明显高于明场染色[23]。

Calcofluor White M2R荧光增白剂，常用作真菌染色和细胞活力染色。该染料的用途广泛，可用于鉴定和研究几丁质的结构和生物合成。几丁质是自然界中发现第二丰富的多糖，来源于淡水海绵Spongilla lacustris。当与几丁质结合后，荧光增白剂的荧光得以加强，可用来阐述骨架结构中几丁质的特殊位置、对真菌细胞壁和白色念珠菌（Candida albicans）的生物膜进行染色。

图21. 可用于细胞染色的常用荧光染料[23]

图22. 金胺“O”-罗丹明（B）染色结核杆菌，阳性信号呈黄色[23]

（3）循环肿瘤细胞检测与免疫荧光或FISH探针确认：CTC循环肿瘤细胞检测的特异性多数情况下是依靠荧光抗体标记实现，由于荧光抗体染色的特异性、可靠性存在争议，因此结果存在假阳性或漏检的可能。检测CTC基因突变或染色体异常的FISH探针有可能提供更高的检测特异性。

图23. CTC细胞分离后FISH探针确认[26]

根据有文献报告使用4色FISH探针针对10q22.3/CEP10和3p22.1/3q29检测肺癌患者的CTC与活检相比，可达到94.2%准确率，89%灵敏度和100%特异性（图23）[23]。针对不同的肿瘤筛查可以设计不同的FISH探针，以MFISH的形式实现15或35种探针检测，可显著提升液体活检肿瘤早筛的灵敏度与特异性。

（4）细胞或组织免疫荧光分析：细胞免疫荧光检测在自身抗体检测中已经应用多年，通过观察自身抗体结合细胞的位置与方式，对疾病进行诊断与分类。自身抗体与Hep-2细胞或肝片结合后，阳性部位的观察目前基本由人工判断。荧光样本数字化后可使用深度学习来分析，计算机分析的准确性为95.07%, 灵敏度为99.96%，特异性为99.79%，几乎达到了实验室检测的最好水平[27]。使用多色荧光抗体标记出样本中的浸润免疫细胞或其他类型细胞，可判断疾病的预后或指导用药。如PD-1抗体药物的使用需确认肿瘤或免疫细胞表达PD-1的水平。

5. 实验室形态学专家标注数据、AI训练后应用的LDT（实验开发检测）模式。形态学检查缺乏量化工具，对检测内容的描述大多是非数字方式，难以形成统一的标准。深度学习可以提取到训练数据的特征，并根据人为指定的分类数据，自动寻找分类界线。这些界线是高维度下的特征区别，多数是人类视觉无法感知的，或不在目前形态学诊断内容范围内的。大规模数据训练收敛后，深度学习可以较准确地复现标注精度，所以在工业中被普遍使用。但在医学领域，样本的多样性、分类的精确性、样本制备的可重复性这些因素导致了训练模型不太适合大规模使用。外周血细胞的深度学习分类是目前最有可能规模化使用的，原因如下：（1）外周血细胞类型间差别较明显；（2）样本制备可标准化；（3）样本收集容易。如果有一个标准数据集，在大部分形态学专家都认可其色彩方案、分类及训练网络结构的情况下，这个模型就可以被广泛使用。

如果待测样本的处理和数据采样全部与标准数据制备方式一致，其预期的准确率可以达到90%以上。实际情况是，标准数据集的形成难度较大。首先色彩难以统一，即使显示器显微镜数字图片颜色完成标准化，但人对颜色的感受是不同的，不同色彩方案下，专家的结论会有差异；其次如骨髓细胞分类，类别之间的界限是模糊的，不同专家有不同的倾向性。虽然非标准数据训练的AI模型较难广泛使用，但还是有很多办法达到适应性应用，如：（1）开放数据，每个用户使用前需按照自己的习惯调整数据后进行个性化训练使用；（2）对于分类不复杂的形态学检测，如细菌识别，可以统一机器的数字色彩方案及样本前处理方案；（3）用户在实验室内收集数据后训练，模型只适用于本实验室内使用（LDT）。

小结：临床检验实验室中形态学检查的光学分辨率高，数字化难度大，数字化及自动分析落后于病理诊断领域。随着高速高分辨率显微扫描仪的普及，检验领域的形态学检查将更有可能实现全部自动化，因为检验科观察的对像以单个目标物为主：细胞或颗粒。相比组织样本，观察对象更适合机器学习。由于本文准备时间仓促，观点有失偏颇，错误之处恳请指正。

参考文献

Digital Imaging in Pathology: Whole-Slide Imaging and Beyond，Annu[J]. Rev Pathol. Mech Dis,2013,8:331-359. DOI:10.2147/PLMI.S59826.

Ho J, Parwani AV, Jukic DM, Yagi Y, Anthony L, Gilbertson JR. 2006. Use of whole slide imaging in surgical pathology quality assurance: design and pilot validation studies[J]. Hum Pathol,2006 ,37(3):322-331. DOI: 10.1016/j.humpath.2005.11.005.

A Comprehensive Review of Computer-aided Whole-slide Image Analysis: from Datasets to Feature Extraction, Segmentation, Classification and Detection Approaches Artificial Intelligence Review (2022). DOI:10.48550/arXiv.2102.10553.

Multifeature prostate cancer diagnosis and Gleason grading of histological images[J]. IEEE Trans. Med. Imaging 26:1366-1378.DOI: 10.1109/TMI.2007.898536.

Integrated diagnostics: a conceptual framework with examples[J]. Clin Chem Lab Med,48:989–98. DOI: 10.1515/CCLM.2010.193

Whole slide imaging equivalency and efficiency study: experience at a large academic center Matthew G. Hanna[J]. Modern Pathology , 2019, 32:916-928. DOI:10.1038/s41379-019-0205-0.

Potential quality pitfalls of digitalized whole slide image of breast pathology in routine practice[J].Modern Pathology.DOI:10.1038/s41379-021-01000-8.

Digital Slide Imaging in Cervicovaginal Cytology A Pilot Stud，Arch Pathol Lab Med—Vol 137, 2013 .DOI: 10.5858/arpa.2012-0430-OA.

Introduction to Digital Image Analysis in Whole slide Imaging: A White Paper from the Digital Pathology Association[J].J Pathol Inform ,2019, 1:9 DOI: 10.4103/jpi.jpi_82_18.

Deep learning in cancer pathology: a new generation of clinical biomarkers[J].Br J Cancer ,2021,124:686-696; DOI:10.1038/s41416-020-01122-x.

Highly accurate differentiation of bone marrow cell morphologies using deep neural networks on a large image data set，blood 18 NOVEMBER 2021 | VOLUME 138, NUMBER 20.DOI: 10.1182/blood.2020010568.

RESNET介绍原文链接：https://blog.csdn.net/LIT_Elric/article/details/93468115.

CNN（卷积神经网络）最早是哪一年提出，是如何发展的？-知乎 (zhihu.com) https://www.zhihu.com/question/47705441.

Digital morphology analyzers in hematology: ICSH review and recommendations，nt[J]. J Lab Hematol,2019;41:437-447. DOI: 10.1111/ijlh.13042.

Multicenter evaluation of the cobas m 511 integrated hematology analyzer[J].Int J Lab Hem,2018,40:672-682. DOI: 10.1111/ijlh.12903.

Beckman Coulter Iris尿仪介绍：https://www.beckmancoulter.cn/bdx/bdx_iris/.

Machine Learning of Bone Marrow Histopathology Identifies Genetic and Clinical Determinants in Patients with MDS，May 2021 blood CANCER DISCOVERY | 239. DOI: 10.1158/2643-3230.BCD-20-0162.

Morphologic Classification and Automatic Diagnosis of Bacterial Vaginosis by Deep Neural Networks .DOI: https://doi.org/10.1101/2020.05.20.101055.

Automated Interpretation of Blood Culture Gram Stains by Use of a Deep Convolutional Neural Network, March 2018 Volume 56 Issue 3 e01521-17[J].J Clin Microbiol.DOI: 10.1128/JCM.01521-17.

Image analysis and artificial intelligence in infectious disease diagnostics, Smith KP, Kirby JE[J]. Clin Microbiolo Infecti, 2020,26 :1318e1323. DOI: 10.1016/j.cmi.2020.03.012.

A Multicolor Fluorescence in situ Hybridization Approach Using an Extended Set of Fluorophores to Visualize Microorganisms，Front. Microbiol, 19 June[J]. 2019 .DOI:10.3389/fmicb.2019.01383.

MiL-FISH: Multilabeled Oligonucleotides for Fluorescence In Situ Hybridization Improve[J]. Visualization of Bacterial Cells, 2016, 82 :1. DOI:10.1128/AEM.02776-15.

Use of Light-Emitting Diode Fluorescence Microscopy to Detect Acid-Fast Bacilli in Sputum[J].Clin InfectDis, 2008,47:203-2077.DOI: 10.1086/589248.

Lin PP, et al.Comprehensive in situ co-detection of aneuploid circulating endothelial and tumor cells[J]. Sci Rep, 2017,7 .DOI: 10.1038/s41598-017-10763-7.

Fluorescence microscopy for disease diagnosis and environmental monitoring，WHO Regional Publications, Eastern Mediterranean Series 28, https://apps.who.int/iris/handle/10665/119734.

Identification of Circulating Tumor Cells Using 4-Color Fluorescence In Situ Hybridization: Validation of a Noninvasive Aid for Ruling Out Lung Cancer in Patients With Low-Dose Computed Tomography–Detected Lung Nodules[J].Cancer Cytopathology, 2020. DOI: 10.1002/cncy.22278.

HEp-2 Cell Classification Using an Ensemble of Convolutional Neural Networks，2021 International Conference on Information and Communication Technology Convergence.DOI:10.1109/ICTC52510.2021.9621075.

Mark D. Zarella,et al. A Practical Guide to Whole Slide Imaging: A White Paper From the Digital Pathology Association[J]. Arch Pathol Lab Med ,2019,143 (2): 222-234. DOI:10.5858/arpa.2018-0343-RA.

A deep learning diagnostic platform for diffuse large B-cell lymphoma with high accuracy across multiple hospitals. https://doi.org/10.1038/s41467-020-19817-3.