基于卷积神经网络和长短期记忆融合的尿液有形成分识别技术

作者：王梦龙   王琨   秦鑫龙   蒋均   粟传军

尿液中各类有形成分对人体肾脏、泌尿系统疾病具有重要的诊断和鉴别作用,临床急需红细胞、白细胞、上皮细胞、结晶和管型准确的亚分类,以对尿路结石、泌尿系统感染、肾小球肾炎、急性肾小管坏死等疾病进行诊断和鉴别诊断。常规的人工镜检操作过程繁琐、耗时，而且极大消耗精力，大批量样本无法保证TAT。所以目前大部分医院已采用全自动尿液分析仪。其中相当一部分与人工智能相结合，降低了人工镜检的频率，极大提高了工作效率。但由于尿液pH、渗透压等理化环境复杂，尿液中有形成分往往不典型。而且其图像种类繁多、纹理轮廓千变万化、图像清晰度不统一、色彩亮度分布不均匀和散焦严重等特点，导致尿液中各类有形成分识别困难。

一、人工智能技术的应用

从最初的经典机器学习，到现在深度学习，人工智能的发展迅速，目前深度学习已经替代了经典机器学习成为了人工智能的主流。

深度学习是一种以人工神经网路为架构，对资料进行表征学习的算法。对于计算机视觉来说，深度学习通过将数据抽象化为一系列特征点（或神经元），从而对于给定目标进行分类。

本技术基础的深度学习框架采用卷积神经网络（CNN），并尝试了多种网络模型，如：AlexNet、SqueezeNet、EfficientNet等。不同的CNN分别是由卷积层、线性整流层、池化层、完全连接层按照不同的数量和不同的排列组成，模仿人的思考方式，通过感知局部特征，并将这些特征联系起来得到数据特征。

虽然CNN对于图像有着独特的优越性，但在尿液图像这样复杂的环境中，常规的CNN无法有效完成对有形成分的分类工作。问题主要来自以下几个方面：（1）从原始图中切割出有形成分效果差。如：偏心、不完整、未切割等。对于以透明管型为代表，部分或边缘与背景融合的成分特别容易出现不完整的情况。YOLO等目标识别框架受此影响较小。（2）受仪器成本的限制，图像分辨率不高，细节不清晰。（3）有形成分重叠。这点在采用沉降式的仪器中出现频率最高。（4）对于纹理特征相似，但形状不同的成分易混淆。这是由于CNN的局部感知带来的缺陷，例如：单颗酵母菌、单颗球菌和小红细胞很难区分；椭圆结晶和一些红细胞亚分类很难区分。

二、技术改进

为了解决以上问题，本技术提出一种上下文的思考方式：在一份尿液样本中一些有形成分的出现是存在一定关联性，并不是毫无联系的；同时一些其他的检测数据对于某些有形成分的出现是可以预知的。如：（1）标本中出现大量酵母菌，那么识别为单颗球菌或小红细胞的部分就需要重新评估，因为它们极大可能会是单颗酵母菌。（2）标本中出现大量红细胞，那么非红细胞管型或血液管型等其他管型部分就需要重新评估。

从以上思路出发，考虑引进用于处理序列变化数据的循环神经网络（RNN），以处理有形成分之间以及已测量数据间的联系。它与CNN不同，CNN类似于树状结构（中间会有发散和聚集），RNN则是链式结构。在RNN的神经元序列中，每个神经元的输入包含上次输出以及原始数据，因此能将多个数据进行关联。

由于每次计算后输出与输入差距很大，数据间的联系在传递过程中与特征误差将进一步扩大，以致于普通的RNN在长序列训练过程中会出现梯度消失和梯度爆炸问题，因此本技术采用了一种特殊RNN——长短期记忆（LSTM）。

LSTM依旧采用RNN的链式结构，但每个神经元的内部结构会相对复杂。特别的是，这也是LSTM的核心思想，增加一条贯穿整条链的信息传送带——单元状态（cell state）。相比输入输出的较大差距，单元状态以缓慢的速度更新，以保持数据间的联系特征传递。

LSTM的神经元由三部分组成：（1）遗忘门。用于决定让单元状态哪些特征数据继续通过神经元，剔除非特征性的数据。（2）传入门。用于决定输入哪些新的数据，更新特征数据。（3）输出门。用于产生本次的输出，同时也是下次的输入。

通过引入LSTM，样本首先使用CNN进行单张图像识别，再使用LSTM将所得数据关联，形成整个样本的数据链，并对样本进行修正。这样使标本的检测由单张图像识别扩展为整个标本的识别，大幅提高识别率。

三、总结与展望

按照本文所述技术改进后，弥补了CNN对于图像切割、图像不清晰、重叠、易混淆方面的缺陷，有形成分的分类有了显著的提升。同时将原有的单张图像分析提升到了整个标本的训练和分析。识别提升主要体现在以下几个方面：（1）提升管型召回率和准确率，增加了其亚分类；（2）提升肾小管上皮的召回率和准确率；（3）解决了红细胞、球菌和酵母菌混淆的问题；（4）解决了椭圆形状的结晶和红细胞混淆的问题。

虽然目前的识别已经能满足大部分需求，但继续提高依旧是我们面临的巨大挑战。在软件方面我们期望从模型不同参数的训练方式、模型融合以及网络最合适的图像尺寸等方面取得进展，在硬件方面我们将使用染色后的有形成分彩色图片应用5G网络上传至云端进行识别，进一步提高对于尿液有形成分的识别种类和识别率，尤其是对药物结晶的识别，如阿莫西林、环丙沙星、阿昔洛韦、甲氨蝶呤等，从而更大程度上减轻人工镜检的负担，提高仪器的准确性，缩短TAT，为临床诊断提供更准确更丰富的尿液检验数据。