人工智能在形态学检验领域中的应用

北京协和医院检验科  张时民

张时民，北京协和医学院临床检验诊断学系血液体液教研室组长，北京协和医院检验科副主任技师，从事临床检验工作四十年，北京协和医学院八年制本科生教学工作二十五年。

曾任中华医学会检验分会血液体液组两届委员，现任中国医学装备协会检验医学分会委员和细胞形态学自动化学组副组长；中国卫生摄影协会医学摄影教育与研究分会常委；《临床检验装备杂志》副主编，《中华检验医学杂志》等多本专业杂志的编委和编审专家，中国合格评定认可委员会（CNAS）评审专家等。北京市临床检验中心第一届临床血细胞检验诊断专家委员会首席专家，卫生部临床检验中心聘任专家，中国医疗装备协会临床检验装备评审专家。撰写论著，综述等各类文章60余篇，SCI文章1篇。主编《血象-外周血细胞图谱（2016年）》、《实用尿液有形成分图鉴（2014年）》、《实用尿液有形成分分析技术与临床（2008年）》等专著与教材12部，副主编《临床检验诊断学图谱（2012年）》等专著10部。参编专著、教材、科普书、词典等20多部。

1996年一台名叫深蓝（Deep Blue）的计算机战胜世界象棋大师，一个被称为人工智能的名词开始进入我们的大脑。之后的冲击波是一个叫做阿尔法狗（Alpha Go）的更先进的计算机先后战胜多名世界一流围棋大师，使大众加深了对人工智能这一概念的兴趣与印象。

2017年全国“两会”上李克强总理在《政府工作报告》指出全面实施战略性新兴产业发展规划，加快新材料、人工智能、集成电路、生物制药、第五代移动通信等技术研发和转化。“人工智能”这一表述首次出现在总理政府工作报告中。随后国务院印发《新一代人工智能发展规划》，将人工智能上升为国家战略，将推动新一代人工智能与医疗专业技术相结合，将人工智能作为引领未来的战略性技术，新一轮产业变革的核心驱动力，提到了国家发展规划的高度。

新一代人工智能技术呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等特征。新一代人工智能相关学科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加速跃升。人工智能在医疗行业中的应用也备受瞩目，智能化医疗设备的研发或将成为行业的下一个爆点。而最近的一些新闻报道，令人感到人工智能技术离我们越来越近，他在逐渐挑战人类的智慧，甚至在某些能力上大有战胜人类的倾向，看看下面这些新闻标题：“人类完败，诊断乳腺癌，30小时病理分析竟不如谷歌AI准确”；“AI再登Nature封面：诊断皮肤癌，准确度堪比专家”；“AI机器人，学完2186张肺癌图谱，完胜病理学家”；“《自然》杂志重磅：AI在儿童自闭症早期诊断上完胜医生！”；“人工智能通过医师考试，AI医疗离落地还有多远？”“人工影像人机大战总决赛，医疗AI战队完胜25位医师组成的人类战队！”题目似有耸人听闻，哗众取宠之感觉，但也确实冲击了我们的大脑和思考，AI到底如何？

这些AI的新闻报道似乎都没有离开读图，特别是读病理片和影像片，那么在检验医学领域也有许多可读的图像，AI的表现又是怎样呢？国际临床化学委员会（IFCC）主席Maurizio Ferrari先生在一篇《How to imagine the future of laboratory medicine》的讲演中提到：未来检验医学发展会依赖电子计算机和信息技术，从电子高速路的创建和创新，到人工智能检验结果的判读，特别是自动细胞识别等新技术的应用，可在未来的检验医学发展和构建中发挥重要作用。中华医学会检验医学分会第九届主任委员潘柏申教授也在2017年的一次全国会议上指出，检验医学的未来发展契机包括标准化、自动化和智能化，大数据与互联网的密切结合。智能化及以人工智能作为平台，建立临床化学与免疫学、血液学及体液学检验领域的自动判断和审核，在细胞形态学的自动化识别，实验室物流，远程控制与增强现实（AR），自动采血机器人研发与应用等方面，将有更深入研究，具有广阔的发展空间。

最早依据形态学图像进行检验判断的设备，笔者认为是1985年开发的Yellow Iris尿液有形成分分析系统，虽然当年没有数字影像，只有Vedio模拟图像，但是毕竟是开启了检验形态学依据图像进行分析的先河。后来还有Hitachi 6000血细胞图像分类系统，但是没有完全成功。当计算机技术和数字图像技术进展到2000年之后，已经为数字图像识别搭建了一个非常好的技术平台，同时借助互联网和大数据功能，使得机器读图的能力大大提高。本文就人工智能技术在临床检验的形态学检验领域的一些进展进行简单的介绍，也是希望这样一些技术能够有更快速、更精准的发展，用于解决检验科室技术能力不足、样本量大、形态学技术能力欠缺、远程医疗会诊等工作中的问题。

临床基础检验工作中，工作量较大且含金量较高，又较难于掌握的就是形态学检验。由于自动化进程加速、人员配备不足，形态学培训能力不足，特别是在基层医院，从事形态学检验的技术人员急缺。这体现在血常规检验后的显微镜复检和复核、尿液有形成分的形态学检验和复检、粪便常规及寄生虫检查，体液检验、阴道分泌物检查、男性精液分析等诸多方面。而在这些领域的形态学检验或复检工作又特别重要，好在这一领域的形态学检验设备应运而生，这些设备一般采用数字图像拍摄技术、神经网络、定位识别、人工智能、数字化运算分析、大数据运算等多种方式对各种标本中的形态学内容进行分析和定量计数。此类设备已经部分的代替了人工识别，但他依然是一类过筛性设备，也要制定复检和筛选规则，而显微镜下的形态学检验依然是金标准。仪器所需要识别的细胞不是固定不变的，而是多变的，因此需要对各种细胞进行系统分析，智能化识别与判断，这里就需要模拟、拟合、人工智能运算等多种智能化方法。

1. 尿液有形成分分析系统 

国内早在2001年起就有公司开始开发具有数字图像拍摄及自动识别的尿液有形成分分析仪，国外采用平板鞘流流动式拍摄的数字图像的尿液有形成分分析仪在西方国家也广泛应用。他们都使用的共同的技术，即数字图像拍摄和自动识别。这些设备通过拍摄静止的或鞘流板中的有形成分，通过对采集的图像进行数字化，在根据颜色、大小、轮廓、形态、内容物、内部结构、灰度等众多特征性参数，通过特定的算法和内存数据库资料，经神经网络和算法的配合识别尿中有形成分。检验人员可以根据所拍摄的图像进行审核，或者补充、纠正修改、签发图文报告。目前此类仪器众多，既有采用流动式影像拍摄模式的仪器（图1，图2），也有采用一次性计数池及甩片沉淀模式的测定原理的仪器（图3），更有采用多通道交替沉淀与检测，并能提供红细胞色度及体积大小，提供直方图与散点图分析的设备（图4），而且许多仪器已经和干化学分析系统进行连接，或者直接形成一体化尿液分析流水线系统的设备（图5）。此类仪器就是采用人工智能分析系统的设备，国内外已经有多个厂家在研发生产，而且性能越来越进步。国内也制定了相关的《尿液有形成分分析仪（数字成像自动识别）》行业标准，对该类设备的质量要求做了规定。同时国内专家还对仪器的应用和复审提出建议，制定了《尿液和粪便有形成分自动化分析专家共识》，对此类仪器的临床应用提出了很有价值的建议。

图1. 管型的数字图像

图2. 白细胞的数字图像

图3. 屏幕识别显示模式

图4. 红细胞散点图和直方图分析模式

图5. 尿干化学与有形成分分析流水线系统

2. 血细胞分析系统

前面提到的图像法血细胞分析系统最早在上世纪80年代就曾经尝试过，以日本日立公司生产的－8200为代表（图6）。该仪器完全采用图像分析法，将血片染色，用含有扫描镜头的显微镜扫描每个视野，将获取的细胞图像与仪器内存储的标准图像进行对照分析，判断该细胞的类型。此类仪器需要大型的计算机系统支持，由于在当时电子计算机图形识别和分析技术还不很发达，因此该类设备发展受到一定程度的限制，分析速度慢，在细胞判断的准确性上也不尽人意，且没有延续下来。而我们比较熟识的血细胞形态识别设备DM96是2005年由瑞典公司研发的，现在已经升级为DM9600系统（图7）。他在血涂片和体液涂片细胞识别方面已经取得一定的成功。设备采用数字图像分析技术，硬件主要为输送玻片系统和内置三个物镜头的特制自动显微镜，其软件系统中有强大的细胞图像数据库支持，依据预先定义的大型细胞数据库获得的。系统分析样本时会将所提取的细胞特征信息转化为数字信号，然后通过人工智能计算和神经网络系统（ANN）进行形态学分析。

图6. 早年的图像法血细胞分析系统

图7. DM9600血液细胞形态读片系统

DM9600的检测流程是首先使用10倍物镜头扫描血片，寻找单细胞层并定位白细胞位置；再使用特制的50倍油镜头扫描寻找和确定单层红细胞层，拍摄数字图像并进行红细胞形态分析和血小板数量评估，红细胞分析时会提取细胞直径、颜色、色素含量、对比度等特征性信息，将异常红细胞划分为血红蛋白含量（颜色）异常、大小不等异常和形态异常三大类，这与我们通常的红细胞形态观察判断内容基本接近；仪器再转换至100倍油镜，寻找在低倍镜时定位的白细胞，对白细胞进行分类及异常有核细胞的识别与初筛。白细胞分析时提取形状、大小、纹理、染色、颗粒、空隙、细胞核和细胞质比例关系等360个信息参数进行分析。可给出白细胞分类，还可进行异常细胞初筛、血小板聚集、有核红细胞识别等。这个系统已经被配置连接于全自动血细胞分析流水线上，结合细胞计数与分析、自动制片和染色，形态学图片拍摄与智能识别，成为一套完整血细胞分析系统。这种系统目前还可用于分析体液细胞，如浆膜腔积液、脑脊液、肺泡灌洗液、穿刺液等，但需要特殊的制备样本和硬件、软件支持。

而另一血细胞分析系统m 511型，则完全颠覆了我们通常认知的血细胞分析仪概念（图8），不采用传统的物理、化学、荧光等染色技术、不需要鞘流，不需要激光，不需要复杂的液体试剂。而是以数字化、形态学和人工智能原理进行细胞分析的检测系统。通过图像法完成对白细胞、红细胞与血小板的计数和识别，分类白细胞，分析红细胞形态，计算红细胞参数，还可以提供细胞的数字成像。该设备通过独特的喷涂专利技术制备血片，仅需30微升血样本，在玻片上打印（print a film）出单细胞膜层，喷涂均匀，然后对血片进行瑞氏染色，如果需要进行网织红细胞测定则需要特殊染色剂。最后进入数字图像分析模块，拍摄一定面积及视野下的单细胞层图像，进行数字化及人工智能化分析，数字图像和结果都可以在屏幕上显示。操作者可以通过图像对细胞进行审核、纠正错误等相应操作。是仅仅通过血涂片和图像分析就可以完成CBC+Diff+Ret二十余项参数的新型血细胞分析系统，该系统在国外已经上市。

图8. m 511血细胞分析系统

3. 粪便有形成分分析系统

该类分析仪器是国内首创的一种分析设备，国外并没有类似产品（图9）。该检测系统可以完成自动取样，稀释，涂片，拍摄数字图像，包括外观形态、颜色以及显微镜下的高倍镜和低倍镜形态学检查，根据粪便中的有形成分特点，通过数据库查询，分析运算，判断等步骤完成常规镜检的初筛，甚至可以拍摄和初步识别寄生虫卵（图10）。但在形态学确认上还需要人工辅助判断审核，特别是阳性发现一定要人工审核后才可发出报告。仪器还可同时进行金标法的一些项目检查，例如潜血、转铁蛋白，以及风疹病毒抗体、诺如病毒抗体、幽门螺杆菌抗体等一些金标法的抗体检查。此类仪器虽解决了令人头疼的生物安全问题和操作标准化问题，因为粪便中杂质及干扰成分过多，在识别准确性上还需要有进一步的改进与提高。今年出台的《尿液和粪便有形成分自动化分析专家共识》对此类仪器的性能评估和临床应用提出了有价值的建议。

图9. 粪便分析仪

图10. 粪便虫卵

4. 阴道分泌物检查分析系统

阴道分泌物检查（白带检查）或许是工作量大、手工操作、生物安全性差、操作不标准、检查结果差异大的一种妇科病检查和体检项目。但是目前已经有了一种通过数字图像分析技术进行阴道分泌物检查的设备，例如BD-500白带分析系统（图11），将白带标本充入一特制的计数板中，通过数字相机拍摄数字图像，也可以对标本进行染色后拍摄图像，然后进行分析与识别。还可以对可能出现的阴道滴虫（蓝氏贾第鞭毛虫）进行动态跟踪识别，再配合BV检测卡，实现分泌物形态学检查与化学检查的结合，用于临床辅助霉菌性阴道炎、滴虫性阴道炎的鉴别（图12）。

图11. 阴道分泌物测定仪

图12. 阴道分泌物图（上皮细胞，滴虫，线索细胞和霉菌）

5. 精液分析系统

精液分析仪器已经有许多年的研发历史，但当今的精液分析已经不局限于传统的精液量、精子密度、活动度、活力等几个简单的常规检验参数来评价男性的生育能力。虽然一些传统的精液分析系统开发历史比较久，还可以做到确定和跟踪单个精子细胞的活动情况，设定精子运动位移，但是这还是不够的，还不能算作采用了人工智能分析方法。目前认为精子的形态学内容也应被列入精子正常与否的评价内容。现在的一些精子分析系统采用数字图像分析法，除了提供上述常规参数外，还可进行精子形态学分析，提供正常、异常、头部异常、颈部和中段异常、尾部异常等形态学分类，当然这还需要辅助以人工再鉴别，机器再学习的过程，但这应该是今后的发展方向（图13，图14）。

图13. 精子分析仪

图14. 畸形精子形态

6. 染色体分析系统应用

该系统多年以来一直在应用，其性能也在逐渐提高。主要用于产前诊断领域，可用于诊断胎儿染色体异常的羊水G带染色体分析，进行出生缺陷干预；也用于染色体数目和结构异常、X连锁隐性遗传病、先天性代谢缺陷病、先天畸形等疾病的筛查；还可用于白血病诊断，遗传病诊断，肿瘤诊断与研究，检测染色体结构和数目畸变，检测染色体复杂易位，微小损失等诸多方面。将制备好的染色体样本玻片，以前完全是人工显微镜下观察和拍摄胶片照片进行分析，现在则可以通过染色体玻片扫描平台，通过染色体图像分析系统机将显微镜下观察到的染色体实时图像拍摄下来并传输到电脑上（图15），再利用染色体图像分析软件智能化的处理软件对图像调节处理、分割粘连和重叠的染色体、进行核型识别与排列（图16，图17），大约有50%-70%识别与排列会获得满意的效果，最后经检验医生确认后即可发出染色体检查报告。随着设备的不断学习，其分析处理能力会逐渐提高，可以自动化完成更多的样本处理。将染色体匹配为22对和1对性染色体。识别正常染色体，找出染色体异常部分，例如缺失或者畸形或者其他异常，提供给专业人员鉴别审核。染色体数量畸变包括整倍体和非整倍体畸变，染色体数目增多、减少和出现三倍体等。结构畸变染色体缺失易位倒位、插入、重复和环状染色体等。染色体图像分析系将显微镜下观察到的染色体实时图像拍摄，再利用染色体图像分析软件进行图像调节处理、分割粘连和重叠的染色体、核型识别与排列、报告设计等操作，最后经检验医生确认后即可打印出图文并茂，清晰直观的染色体检查报告。

图15. 染色体分析系统

图16. 染色体分析

图17. 染色体排列

7. 在微生物检验领域的应用

在微生物检验领域离不开培养药敏和鉴定，药敏实验判断等，而其中许多检验也离不开形态学检查。目前已经有了用于分枝杆菌检验的显微扫描拍摄系统（图18），配套的制备涂片和染色系统均也已经配套。这样一张痰涂片标本可以在2分钟内完成扫描拍摄，然后进行数字化处理和计算，仪器可以智能化的筛检出分枝杆菌，最后由有经验的检验者审核确认。仪器可以筛检掉大量阴性标本和视野，加快了检测速度，降低了劳动强度，而且通过不断学习，仪器的智能识别系统可逐步学习与升级，进一步提高检出率和识别率。此外在真菌检验方面、药敏实验判断等方面，图像分析技术也有用武之地，其研究、开发和应用正在得到大家的关注与认可。

图18. 分枝杆菌分析系统

1. 潘柏申教授指出：“在配备自动化检测设备的同时，智能化的实验室管理系统也是现代检验医学必不可少的组成部分。自动审核不仅帮助检验科高效处理海量检测数据，同时避免了人工审核可能出现的误差，是实验室管理未来发展的必然趋势之一。因此，如何规范应用自动审核系统是实现实验室高效管理的一个关键。”据美国病理学家协会（CAP）的定义，仪器检测产生的患者结果传输至实验室信息系统（LIS），与实验室预设的条件比对的过程称为自动审核。如果结果落在设定的条件范围内，那这些结果无需其他处理，即可自动转化为报告格式；反之，则在报告之前需通过实验室工作人员进一步审核。由北京协和医院检验科牵头的《临床实验室定量检验结果的自动审核程序建立与验证》国家行业标准正在审核中。通过制定自动审核行业标准，有助于指导临床实验室建立、改进、优化、验证定量检验结果的自动审核程序，可为实验室实施自动审核程序提供指导。

检验报告自动审核系统或许是目前国内应用人工智能最多的一个方面，也就是把科室报告审核的各种规则告诉计算机系统。目前已经在许多专业领域，例如临床生化检验、免疫学检验、血常规检验及尿液检验方面，有了许多自动审核的先例（图19），极大的加快了报告发放的TAT时间。如果今后能够将病人治疗（特别是化疗和放射治疗），药物影响因素，标本采集条件，检验项目的不确定度，将该结果的发展变化与患者具体诊断治疗情况，进行综合分析，并给出其发展变化趋势以及预后等信息，将是一个革命性的变化，也是检验医学与临床诊断治疗最佳的结合。

图19. 智能审核系统界面

2. 质量管理：这是实验室管理中很重要的一个环节，以往的程序都是要人工干预进行的，而且耗时耗力，还可能出现人为选择标本、人为干预的一些做法。而智能化分析系统在全实验室自动化系统中运行，包括自动开机，自动运行质控样本，智能化失控判断及自动处理解决一般问题；新批号质控物靶值的累积和计算、设定变化范围及统计功能等。质控风险及预警管理，远程实验室控制管理等。自动化分析系统还可以借助智能化程序，自动完成仪器的性能评价项目，自动完成样本比对工作，给出无人为干预的评价及比对结果，其可信度明显提高。

3. 自动采血机器人的应用 采血或许是实验室耗费人力及产生纠纷较多的岗位，而近年来研发的自动采血机器人或许可以取代部分采血工作（图20）。将手臂伸进拱体中，充气的袖套会收缩，将手臂固定住，压缩血流，让血管更容易显现。机器会用红外线相机探测照射手肘内侧，配合超声波与机器视觉技术定位静脉位置，自动分析所拍摄的影像，检查血管构造与内部血液流量，找出最适合抽血的血管和位置。然后机器会校准针头，选择最佳角度，迅速将针头穿刺进入血管中，通过真空采血管的负压抽取足够量的血液标本，整个流程大概只花一分钟。根据国外文献统计，护士的采血穿刺首针的成功率不到75%，而机器人理论上可以做到99%，目前某品牌机器人已经实现90%以上的成功率，据了解国内也有公司在开发自动采血机器人设备。标本采集后可以通过自动传输系统迅速送至检验科，进一步加快了TAT时间。

图20. 采血机器人

我国检验医学发展已经有近百年的历史，我们经历过手工检验的最初时代，只用显微镜、离心机、试管试剂、比色计、火焰光度计来完成一些基本的化验，也经历甚至见证了从半自动化分析到全自动化分析的飞速发展阶段，参与或实践了全实验室自动化（TLA）和实验室信息化的新时代。下一个检验医学发展的热点和飞跃，就像国内外一些检验领域的专家所说，或许就在人工智能技术的应用上面，我们正好赶上这一进程，投入到这一进程中。

检验医学在计算机技术和“互联网+”时代，人工智能、大数据、云计算、云存储、物联网技术等不断渗入医疗和健康行业的环境下，特别是大数据的建立，将对疾病防控、癌症筛查、病种分布、遗传图谱、基因检测、人体数据分析等带来有价值的发现和应用。在精准医疗愈发受到重视的今天，这些都成为了其中不可缺少的要素，这也是实现人工智能应用的重要体现和方向。这或许是未来的人工智能化医疗，智能化临床医学检验要走的方向？或许手机也能帮助大家认识某类别的形态学检验图像。

人工智能是人类聪明才智创造的一种崭新技术，受人类控制。他永远不会超过人类，特别是那些对此有发明创作的人类。但会超过不接受他，不了解他、不掌握他、排斥他的人。如果你不接受他可能会被淘汰。希望我们大家都来了解他，不要被这个新的时代和技术淘汰。用一首作者编写的小诗来结束本文的介绍，希望大家喜欢他，关注AI。

《爱与AI》

你见，或者不见他，AI就在那里，不悲不喜。

你学，或者不学他，AI就在那里，来了不去。

AI，不主动会你，他就在那里，只增不减。

你跟，或不跟随他，AI就摆在你的面前，不舍不弃。

来AI的面前，或者让AI溶于你的工作里。

积极熟悉，逐渐欢喜。