人工智能在医学显微镜检验自动化中的应用

17世纪晚期，荷兰的列文.虎克(Leeuwenhoek)用他自制的显微镜, 第一次发现了血液里的红细胞，也第一个在雨滴中观察到了细菌。从此，开启了人类观察微观世界的大门。显微镜检验（简称镜检）也由于其可确证的特性，在医学检验中具有不可替代的作用，其中血液、尿液和粪便三大常规检验作为检验学中最基本的项目，一直延续至今。

进入21世纪，随着科学技术的不断发展和进步，医学检验设备和试验方法也越来越先进，其检测速度和准确性不断提高，自动化与智能化特征越来越明显，这些现代化的先进设备和试验方法应用于临床检验科室，大大提高了检验科的工作效率和经济效益，推动了检验医学的学术水平。但是，在检验设备自动化和智能化发展进程中，镜检设备的智能化则相对较迟缓，这曾一度给检验医学带来了诸多困惑。

近年来，随着有形成分检测金标准重新为医学检测领域所认同，大量的企业投入了形态学检测设备的开发。到今天，自动镜检与形态学分析技术发展迅速，大部分体液和人体排泄物检验领域都出现了自动化镜检设备，通过人工智能技术，仪器可以模拟人工镜检流程，自动完成镜检全过程，仪器自动识别样本中各种有形成分，并进行自动分类统计和计数，还可提供多种形态学参数，给临床诊断提供参考依据。将人工智能技术应用于显微镜检验自动化，可解放人力，使医学检验更加高效，结果更加客观、准确，极大地提高医学形态学检测的水平。

爱威科技股份有限公司作为自动显微镜检验先行者，二十年来一直专注于“基于人工智能和机器视觉技术的医学显微镜形态学检验自动化”技术的研究和相关产品开发，建立了全自动显微镜细胞形态学检测技术平台。2001年，公司在业内率先推出了具有数字图像拍摄及细胞自动识别功能的AVE-761尿沉渣智能分析仪。2005年将机器视觉技术应用于仪器，推出了带“低倍定位高倍跟踪”和“红细胞形态学分析”功能的第二代产品，由于产品解决了尿液镜检需要离心沉淀的问题，在业内首次将尿沉渣智能分析仪更名为尿液有形成分分析仪。随后相应推出了764、765、766、767等系列产品。新推出的系列产品应用机器视觉与神经网络等人工智能技术实现了尿液有形成分分析的自动化，对尿液中的各种有形成分进行自动识别和分类计数，对尿液中的红细胞形态特征，提取了大小、形状、纹理和色度四类特征参数进行形态学分析，并以曲线图及散点图方式直观表达，为进一步分析尿液中红细胞的来源提供了参考依据。仪器可与公司的全自动尿液干化学分析仪组成尿液分析仪流水线（图1），一次进样，可自动完成尿液中的理学、化学及有形成分分析，在结果报告上，导入《尿液和粪便有形成分自动化分析专家共识》中关于复检和报告审核的规则，实现了部分标本结果的自动审核确认，提高了仪器的分析准确性，减轻了操作者的劳动强度。

图1. 尿液分析流水线

2015年公司推出的AVE-562全自动粪便分析仪（图2），将人工智能引入粪便分析，可以实现对人体粪便样本中的病理有形成分、理学指标、化学及免疫学指标的自动检测，为医生防治肠道传染病、判断胰腺外分泌功能、了解消化器官是否有出血或寄生虫感染及筛查消化道肿瘤提供重要的来源与依据。随着研究的深入，公司将形态学镜检分析技术扩充到体液、生殖道分泌物和血液等领域中，陆续推出了相应的智能显微镜检验分析系统。

图2. AVE-562全自动粪便分析仪

一、智能显微镜检验系统基本原理

智能显微镜检验系统（以下简称智能镜检系统）采用智能控制系统代替人手、机器视觉技术代替人眼、人工智能图像识别技术代替人脑，模拟经典人工镜检流程，实现标本的自动前处理与加载、镜检流程的自动实现、有形成分的智能识别与分类计数、部分报告指标的自动确认，最后实现检验报告的自动输出。

1. 采用智能控制系统代替人手，实现检测样本前处理、样品加载、进样、调节显微镜光学环境、实时调焦、采图分析、清洗管路至结果检出全程自动化，洁净无污染。

2. 采用机器视觉技术代替人眼，获取样本中各类病理有形成分的清晰图像，既符合人工镜检“金标准”方法学，又解放了检验人员的眼睛。且保存的图像方便复查与确证。

3. 基于深度神经网络的图像识别技术代替人脑，使仪器具备人脑识别功能。深度神经网络提出了一种让计算机自动学习目标特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。依托于大量的临床标本图片库，基于深度卷积神经网络的有形成分识别算法比传统图像识别算法具有更高的准确率与更强的鲁棒性。

二、智能镜检系统的实现

1. 镜检流程的实现：要实现镜检自动化，需要先确认人工镜检的流程。以尿液有形成分分析为例，人工镜检时，将标本充池并放入显微镜载物台后，操作者先在低倍下观察，调节视野，调节背景光线，调节焦距使图像清晰，大范围搜索管型、上皮、大结晶等大目标，若有大目标则进行分类并计数，同时搜索是否存在细胞和小结晶等小目标。如果存在小目标则转换到高倍镜头，切换不同视野搜索小目标（细胞或小结晶等），识别小目标并计数。最后换算结果进行报告。

为了解决繁琐的人工镜检问题，我们引入人工智能技术，采用机器视觉来模拟人工镜检，自动完成镜检过程；采用深度神经网络识别算法对尿液中的有形成分进行自动识别，提取形态学参数进行形态学分析。具体实施方法如下：

第一，在镜检流程上，设计了低倍定位高倍跟踪识别功能，当低倍发现小目标时，自动记录目标的位置，转入高倍后仪器自动找到有目标的区域进行放大识别，从而避免了人工镜检时需要一个一个视野去寻找的问题，大大节省了检验时间。通过采用低倍定位与高倍跟踪技术，即使检测不离心的标本，仪器的检出率可达到98％以上。

第二，在有形成分分析中，引入深度神经网络算法对红细胞、白细胞、管型、上皮、结晶和细菌等各种尿液中的有形成分进行自动识别和分类计数，采用快速自动聚焦技术采集各视野的清晰图像，方便人工复核，既可形成图文并茂的检验报告单，也为临床溯源留下了有力的证据。

第三，对血尿标本，通过建立在神经网络基础上的分类器分离出各红细胞的形态学特征参数，再通过建立在模糊聚类基础上的特征融合器对各类红细胞形态特征参数数据进行归一化处理、对得到的每一类归一化参数分别进行统计分析，或根据几类参数进行综合统计分析，并以图形的方式表达出来，以此来判断红细胞的形态是否正常，通过对各类异常形态红细胞的检测可以鉴定红细胞来源和性质。

对不同体液标本的自动镜检分析，需要根据不同标本的特点进行差异化研究，AVE-562全自动粪便分析仪则是根据粪便标本的特点，在尿液有形成分分析仪的基础上进行的优化和改进。参考人工粪便镜检流程设计了仪器分析流程，采用人工智能技术完成粪便标本的理学指标、免疫/化学指标和有形成分镜检的自动分析。基于粪便标本的特点，和尿液有形成分相比，在粪便分析仪中，还增加了智能标本前处理、理学指标和化学/免疫指标智能分析功能。

2. 人工智能在有形成分识别中的应用：在显微镜检验自动化仪器中，人工智能技术主要应用在以下几个方面：①有形成分自动识别；②细胞形态学分析；③智能标本前处理；④结果自动确认。未来，通过医院的标本自动传输系统，可将标本自动传输到仪器的待检区，仪器通过条码扫描获取标本的条码信息，再通过LIS或HIS系统，自动获取标本的病人信息和需要检测的项目，启动相应项目的自动检测。检验人员完全无需接触病人标本，极大地避免了操作者的生物安全风险，也可防止标本与病人不对应带来错误结果的风险。

在上述应用中，有形成分的自动识别是人工智能在镜检自动化中最重要的应用。目前比较成熟和流行的识别算法是深度学习。下面重点介绍一下深度学习的原理。

图3. 深度学习、机器学习和人工智能的关系图

（1）深度学习、机器学习和人工智能的关系：如果说到深度学习，必须先了解深度学习和人工智能、机器学习的关系（图3）。人工智能（Artificial Intelligence），是计算机科学的一个分支，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。通过人工智能，可以使机器模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）。其研究范畴包括：自然语言处理，知识表现，智能搜索，推理，规划，机器学习，知识获取，组合调度问题，感知问题，模式识别，逻辑程序设计软计算，不精确和不确定的管理，人工生命，神经网络，复杂系统，遗传算法等。其中机器学习是人工智能的一个重要分支，并逐渐成为推动人工智能发展的关键因素。

机器学习（Machine Learning，ML）是指从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。传统的机器学习主要关注如何学习一个预测模型．一般需要首先将数据表示为一组特征（Feature），特征的表示形式可以是连续的数值、离散的符号或其他形式．然后将这些特征输入到预测模型，并输出预测结果。这类机器学习可以看作浅层学习（Shallow Learning）。浅层学习的一个重要特点是不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。

在实际任务中使用机器学习模型一般会包含以下几个步骤（如图4所示）：①数据预处理：经过数据的预处理，如去除噪声等；②特征提取：从原始数据中提取一些有效的特征。比如在图像分类中，提取尺寸、纹理和色度特征等；③特征转换：对特征进行一定的加工，比如降维和升维。很多特征转换方法也都是机器学习方法；④预测：机器学习的核心部分，学习一个函数并进行预测。

图4. 传统机器学习的数据处理流程

上述流程中，每步特征处理以及预测一般都是分开进行的。传统的机器学习模型主要关注最后一步，即构建预测函数。但是实际操作过程中，不同预测模型的性能相差不多，而前三步中的特征处理对最终系统的准确性有着十分关键的作用。特征处理一般都需要人工干预完成，利用人类的经验来选取好的特征，并最终提高机器学习系统的性能。因此，很多的机器学习问题变成了特征工程 （FeatureEngineering）问题。开发一个机器学习系统的主要工作量都消耗在了预处理、特征提取以及特征转换上。

（2）深度学习：传统机器学习属于浅层学习，通常要由人工的方法来获得好的样本特性，在此基础上进行识别和预测，因此方法的有效性在很大程度上受到特征提取的制约。

而深度学习，则是把由人工选取对象特征，变为通过神经网络自己选取特征，为了提升学习的性能，神经网络表示学习的层次较多，图5是一个包含3个隐层的全连接深度神经网络示意图，采用多隐层的神经网络具有优异的特征学习能力，学习到的数据更能反映数据的本质特征有利于可视化或分类，深度神经网络在训练上的难度，可以通过逐层无监督训练有效克服。

图5. 全连接深度神经网络示意图

对图像识别来说，深度神经网络的输入层是图像数据，输出层是图中各有形成分的分类识别结果。中间层则是不可见的隐含层。

在实际应用时，输入层后面连接的隐层采用的是卷积神经网络架构，它是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，其包含的三个关键操作（局部感受野、权值共享和池化（pooling）），有效的减少了网络的参数个数，缓解了模型的过拟合问题。图6是深度学习的数据处理流程图。

图6. 深度学习的数据处理流程

卷积神经网络的优点在图像识别时表现得更为明显，使得图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建的过程，在二维图像的处理过程中有很大的优势，如网络能够自行抽取图像的特征包括颜色、纹理、形状及图像的拓扑结构，在处理二维图像的问题上，特别是识别位移、缩放及其他形式扭曲不变性的应用上具有良好的鲁棒性和运算效率。

卷积神经网络的经典模型包括：LeNet-5模型、AlexNet模型、VGG net、GoogleNet、ResNet和DenseNet。2012年Imagenet图像识别大赛中，Alext提出的AlexNet网络模型一鸣惊人，引爆了神经网络的应用热潮，并且赢得了2012届图像识别大赛的冠军，这也使得卷积神经网络真正意义上成为图像处理上的核心算法。图7是使用两个GPU的AlexNet卷积神经网络结构示意图。其隐含层用了5个卷积层和2个全连接层。池化则采用的是最大池化层。

图7. AlexNet 卷积神经网络结构示意图

VGG Net的实质是AlexNet结构的增强版，图8是VGG的结构示意图。相比AlexNet网络, VGG net在网络的深度以及宽度上做了一定的拓展，但具体的卷积运算还是与AlexNet网络类似。

图8. VGG Net卷积神经网络结构示意图

（3）深度学习的应用：在尿液和粪便检测中，通过深度学习识别算法，可实现样本中各种有形成分的自动识别与分类计数。具体应用案例详见（三）。

三、应用案例

广东省某综合性三甲医院，是一所集医、教、研、康复、养生和养老于一体的三级甲等现代化大型中医医院。医院集团目前总开放病床2757多张，2019年，年门急诊总诊疗人次超过522.44万人次。

该院地处广东省佛山地区，每天粪便标本量大概在150-180个，由于住院及门急诊人数众多，且当地人好食生鱼片，肝吸虫感染的人数多，而常规检验报告时限TAT为30分钟内完成报告发放，在如此短的时间内，要在这么大量粪便样本中准确无误的检出病理成分，往往需要3-4名操作者，才能完成粪便样本的检测（FOB+镜检）工作。为解决检验人员粪便检验困扰，该院于2019年7月引进了两套AVE-562全自动粪便分析仪。下面按照粪便分析的流程介绍仪器的主要功能和应用效果：

（一）主要功能

1. 自动送样：前端配置自动送样装置，可将样品架上的样品自动传送到取样位。送样装置前端留有连接桥接口，方便将来和医院标本自动传输系统对接，内置条码扫描仪自动扫描进入的样品管，系统根据样品条码从LIS系统中读取病人信息和需要测试的项目，自动选择后续测试流程。根据本次新冠病毒传播特点，未来的智能化实验室应该具备标本检验过程全封闭管理，标本与操作者不接触。本系统的设计为将来组建智能化实验室，实现病人标本全封闭传输提供了很好的基础条件。

2. 理学检查：仪器能自动对粪便外观进行拍照，根据拍摄图像中粪便的颜色、形状（结合搅拌所需时长）等特征参数，智能分析粪便样本的颜色与性状。

3. 标本前处理：人工镜检时，由操作者用竹签挑取少量不同部位的粪便标本，加入生理盐水，搅拌均匀。对于取样位置、取样量、加入生理盐水量和搅拌方法等一系列动作难以规范，且粪便标本由于其特殊的气味，又有着不同的性状（硬便、软便、稀便、水样便、粘液便等），操作者在进行前处理时，面临着感观恶心、气味难闻，操作繁琐等严峻考验，从内心抗拒此类检测，甚至通过颜色、性状来判断结果阴、阳性的情况在临床实验室屡有发生。

采用AVE-562仪器分析时，可自动完成标本前置处理（包括自动穿刺注入稀释液，根据标本性状完成智能搅拌混匀，通过特制的标本采集处理器完成病理成分的“富集”），完全解放了人力，无需人员值守，每小时可处理90个样本。其配套的捕捞网式粪便采集处理器采用匙爪式采样设计，多点采样，全封闭容器，方便标本采集及运送，避免检验者接触粪标本，减少检验操作者的感染风险；底部凸起，双侧螺旋桨式设计，大进小出“双面网”设计，造漩涡结构清理网孔附着物，在充分搅拌后，对病理成分（尤其是虫卵）进行收集，可有效提高病理成分回收率、检出率（见图9）。

图9. 粪便采集处理器示意图

4. 免疫/化学检测：采用全自动粪便分析仪，可通过软件设置，同时完成FOB （免疫法/化免双联法）、转铁蛋白、轮状病毒、轮腺双联、幽门螺旋杆菌等检测卡的检测。仪器根据操作者指令自动完成不同类型检测卡的分卡，点样，循环反应，检测卡自动拍照，智能判读检测结果（阴性、弱阳、阳性）。（图10）

图10. 免疫检测卡显色图

5. 显微镜镜检：（1）采用“一次性高精度计数板”（图11）保证足够量的检测，提高阳性检出率，避免使用流动计数池易造成的管路或计数池堵塞，及后续人工疏通堵塞管路易造成的生物安全风险，还可避免样本间的交叉污染。（2）利用“排队沉淀装置”一次性可同时完成6个计数板的排队沉淀，大大提高检测效率；让病理成分有充足时间沉淀，从而获取更清晰的图像。

图11. 一次性计数板

（3）对每一个样本（计数板），采用模糊聚焦控制算法，在多视野采图过程中，自动根据图像的变化，动态修正焦距，实现快速聚焦；针对杂质多的标本，采用多层次自动聚焦采图方法，实现复杂背景下多层目标的清晰采图（图12）。      

图12. 镜检采图

（4）仪器采用深度学习图像识别技术，实现样本中有形成分的自动识别与分类计数（图13）

图13. 自动识别示意图

（5）“结果自动确认”功能：在AVE-562全自动粪便分析仪中还集成了部分结果的自动确认功能。仪器通过FOB与镜检红细胞、性状与白细胞比对进行比对，实现部分结果的自动确认（图14）。临床样本大约有60%左右在“结果自动确认”功能下得以确认，大大减轻了操作者审核劳动强度。

图14. 结果自动确认

（二）应用效果

以往，该院肝吸虫卵的阳性检出率大概在2%-3%左右，通过这两套智能化粪便分析系统的应用，大大提高了寄生虫虫卵的阳性检出率（详见下表1）。也提高了临床粪便标本的检测效率（检测人员由原来四名调整为两名）。仪器自动完成粪便的前处理，完全避免操作者接触（视觉、嗅觉、触觉）粪便样品，保障了检验人员的生物安全；通过智能搅拌、粪便处理杯病理成分“富集”、大视域拍摄等技术手段的运用，大大提高了病理成分的检出率，为临床提供了准确可靠的实验室诊断报告。

参考文献

[1] 张实民.医学检验领域人工智能技术应用与展望[J]. 国际检验医学杂志，2018, 39（5）: 513-516. 

[2] 邱锡鹏. 神经网络与深度学习[M]. 北京: 机械工业出版社, 2020.

[3] 呆呆的猫. 卷积神经网络超详细介绍[EB／OL]．https://blog.csdn.net/jiaoyangwm/article/details/80011656, 2018-09-19.