智能移动机器人在医院传染病监测与治疗中的应用研究
【摘要】本文建立了一个用于对病房内的空气和环境表面进行消毒的真实系统,并配备了一个非接触式测量系统,为医院的传染病治疗提供支持。该系统以智能移动机器人系统为基础,可在模拟的真实治疗室中自主运行。研究团队采用了一种新的定位算法,它结合了激光雷达传感器、编码器和扩展卡尔曼滤波器的数据。开发了应用分割算法和图像特征提取算法的程序,以满足室内实时环境映射的要求,还提出了用于移动和避让障碍物的控制算法。接下来,文章还提到了通过无线传感器网络收集健康数据的技术,包括病人身份识别、体温和血氧指数,分析和实验结果显示了合格的成果和前景。本文的主要贡献列举如下:(1)设计并制造一种新型CEE-IMR智能移动机器人,这种机器人可以对病人进行监护,引导并带领他们在医院中行走,尤其是保持安全距离,避免传染疾病;(2)提出了控制机器人的新框架,基于先进的控制算法,机器人可以灵活移动、避开障碍物等。 还提出了一种新的控制机制;(3)收集数据和处理医疗数据的方法,为患者或医生提供支持,以提高医院在传染病管理方面的效率。
当前,全球社会经济发展和卫生体制改革使医疗行业走向真正的“智能”。人工智能(AI)技术、5G和6G技术、物联网(IoTs)、制造机器人、信息物理(CPS)和其他新技术的结合丰富了医疗行业。先进的技术可以完全支持设备在医院或其他环境中完成任务,以保护人类免受病毒侵害。预防和控制医院获得性感染是卫生安全的基石,也是提高卫生服务质量的核心使命。工程技术与医院感染管理的结合,推动了感染控制技术的突破。国内外医疗机构通过多角度收集和组织信息,优化医院智能,构建医院发展创新模式。机器人最好部署在医院的前台,以传达有关医院各个科室/部门的信息,并引导患者和访客。在医院和家庭中用于照顾老人的护理机器人也在研究之列,机器人可以在事故发生后立即提供医疗救助,以防止创伤加剧,还可以帮助远离病人的医生测量所有生理参数,并利用视听辅助工具诊断疾病。移动机器人可以在医院内提供食品和饮料、配药、清除不洁衣物、运送新床单、运输常规和污染废物等服务。用于医疗环境的清洁机器人似乎能够实现非工业机器人创造者多年前预测的创新,这些模式有助于降低与医院消毒预防和控制相关的成本,而且只涉及特定功能。
最近发表的研究成果解决了消毒和清洁环境的问题,但没有提到机器人在消毒环境中正确定位、引导或导航的问题。这是一个关键问题,即机器人可以直接接触病人以取代人类。在这项工作中,许多功能被集成到一个名为CEE-IMR的移动机器人中。该移动机器人可在疫区内移动,收集病人的数据,然后发送给医生或数据处理中心。该机器人的硬件和软件经过精心设计,能够适应医院环境。机器人接受命令并独立工作,可以有效地为病人或医生提供支持。如图1所示,我们在推荐的治疗方案中通过热成像处理或红外(IR)光谱检测方法间接控制血氧水平(SpO2是监测和评估COVID-19患者健康状况的重要指标)和患者体温,通过这两个参数,医生不需要与患者直接接触,但仍然可以监测和评估合适的治疗方案。消毒工作由机器人本体设计中描述的喷洒、拖地和UV-C灯等系统完成。此外,对于在局部区域避开近距离障碍物的任务,采用了带有超声波传感器系统的VFH+方法,并开发了一套控制程序,可以避开0.3-4米范围内局部区域的障碍物。激光雷达系统可以探测机器人所处环境的特征,并与编码器传感器数据相结合,从而使机器人能够精确地移动到目标位置,有了这些结果,就有可能在实践中应用智能机器人治疗传染病。
图1.(a)实验中机器人模型的图像;(b)机器人底座的详细机械图;(c)移动机器人的动力学模型
一、传染病治疗的系统模型的提出与支持
在图2中是用于传染病治疗支持的移动机器人系统模型框图,该模型有两个主要系统:传感器系统由绿色块组成,控制系统由橙色和蓝色块组成。
图2. CEE-IMR系统框图
1. 传感器系统:(1)编码器:光学编码器有一个LED光源、一个光探测器、一个安装在轴上的“编码”盘/轮和输出信号处理器(见图3)。圆盘有不透明和透明交替的部分,位于LED和光探测器之间。当编码器轴旋转时,LED发出的光束被“编码”盘上的不透明条纹打断,然后被探测器接收,这就产生了一个脉冲信号:有光=亮;无光=灭。该信号被发送到计数器或控制器,然后由计数器或控制器发送信号,产生所需的功能。在移动机器人中,编码器用于测量机器人每个轮子的运动(方向和速度),利用该编码器确定机器人的位置是目前国际上比较流行的一种方法,称为里程计法。(2)激光雷达(光探测和测距):为了提高定位效率,我们使用了激光雷达传感器。激光雷达是一种通过用激光瞄准一个物体并测量反射光返回到接收器的时间来确定距离(可变距离)的方法。在本研究中,如图4所示,研究团队使用激光雷达的方法,使用RPLIDAR A1传感器对医院中的机器人进行定位。RPLIDAR A1系统可以在12m范围内执行360°扫描,生成的2D点云数据可用于地图绘制、定位和对象/环境建模。(3)超声波传感器:超声波传感器是一种电子设备,它通过发射超声波来测量目标物体的距离,并将反射的声音转换成电信号。超声波的传播速度比可听声音(人类可以听到的声音)的速度快。超声波传感器有两个主要组件:发射器(使用压电晶体发射声音)和接收器(在声音往返目标后接收声音)。在医院环境中,路上有很多人和障碍物,因此机器人必须注意避开障碍物。超声波传感器主要用作接近传感器。在汽车自动泊车技术和防碰撞安全系统中都能看到它们的身影。因此,我们将超声波传感器SRF05用于机器人,以便机器人避开障碍物,如图5所示。(4)RGB相机:机器人的设计除了上述功能外,还具有引导病人在医院内移动的功能。因此,在移动过程中,机器人既会移动,也会跟踪病人的面部,与病人保持一定距离。如果病人停下或放慢脚步,机器人就会停下来等待,这是通过使用单目摄像头预测从图像传感器到人面部的距离的方法实现的。我们使用安装在机器人上的Logitech BRIO 4K摄像头(如图6所示)来捕捉患者的面部图像。(5)红外热图像传感器和SPO2传感器:本研究使用的温度传感器是Panasonic’s AMG8833,如图7所示。红外热像传感器具有64个热像素分布成2D 8×8矩阵,可以测量0-80℃范围内物体的温度。非接触式红外传感器,在理想条件下测量距离可达7m,传感器水平和垂直测量角度均可达60°,采样率为10fps(帧/秒)。
图3. 旋转编码器的结构
图4. (a)RPLIDAR A1系统组成;(b)RPLIDARA1工作原理图
图5. 超声波传感器
图6. Logitech BRIO 4K
图7. (a)红外热像传感器-AMG8833传感器节点,(b)AMG8833传感器节点的外壳
机器人被设定为以0.2-0.6m/s的速度移动,因此,在理想的条件下,即使在机器人移动的时候也可以采集温度数据。如图8所示,SpO2传感器是MAX30102 MH-ET LIVE模块,集成了MAX30102心率和SpO2传感器。MAX30102传感器包含两个发光二极管(LED),一个是红外线(峰值波长为880nm),另一个是红光(峰值波长为660nm);还有一个光电二极管,专门用于600-900nm之间的波长。传感器测量的值通过校验和传输,这样,当辅助微控制器接收到这些数据时,就能验证其有效性。如图8所示,该传感器戴在患者的手指上。
图8. (a)红外热成像传感器-MAX30102传感器节点;(b)MAX30102传感器节点的外壳
2. 控制系统:机器人的感知信息网络如图2所示,其中计算机是中央控制单元。由于传感器之间信息速率不同的特点(这里的信息是点对多点的),对机器人内部的通信网络进行了特殊的设计。如图2所示,超声传感器、RP激光雷达和机器人执行器(电机)连接到机器人的控制单元(串行通信RS-232C);RGB摄像头传感器通过高速通信通道连接到控制单元;其他路径(模块中继器、紫外线杀菌照射、消毒喷雾泵)。这些模块根据Modbus/RTU轮询协议,通过点对多点线路与控制板连接(通过RS-485通信标准)。
在机器人移动过程中收集病人数据并对地板进行消毒的系统控制程序可归纳如下:(1)用于从传感器RP激光雷达数据采集和处理的程序是专门用C++语言开发的一种特殊类型的程序;(2)摄像机图像信息直接收集到计算机中,并通过图像处理程序进行处理,该程序是通过Intel OpenCV工具在Visual C++环境中开发的;(3)两个光学编码器测量电路(安装在电机轴上)的控制程序,直接连接到微型计算机(通过RS-232C);(4)剩下的信息通过计算机在14个网络节点和控制节点之间传输并接收,使用ModBus/RTU协议RS-485传输线。
图9展示了移动机器人的导航过程,总结如下:(1)机器人通过传感器采集数据;(2)确定机器人的位置;(3)映射(如有必要或导入现有的全局映射);(4)规划道路;(5)控制移动机器人沿着轨迹到达目的地并避开障碍物(如果有障碍物)。
图9. 移动机器人的导航过程流程图
3. 用于医疗的患者健康数据收集:如上所述,SpO2指数和体温是监测和治疗COVID-19患者的两个重要指标。我们的机器人会自动收集这两种数据,数据收集是自动完成的。机器人靠近病人床边1m半径范围内,传感器节点会自动连接到机器人上路由器发出的Wi-Fi网络。这些节点会根据MQTT协议主动向中央计算机发送测量数据。典型的MQTT是一种基于TCP协议,采用基于发布-订阅架构,如图10所示,它用于在多个设备之间建立通信。该通信协议适用于资源受限、低带宽、低功耗的设备之间的数据传输,因此,该协议被广泛用于IoT框架中的通信。
图10. MQTT协议中的消息交换
如图11所示,其中包括:1-发布者,即IoT设备,通常是共享数据的传感器;2-订阅者,即接收发布者共享数据的IoT设备;3-代理,即管理主题和消息交换的实体,可以在网络中的任何设备(包括发布者和订阅者)中实现。当生成新数据时,发布者会向代理发送消息,以更新给定的主题。每次更新主题时,代理都会向该主题的每个订阅者传新数据。图11表示MQTT协议中消息交换的序列图。凭借上述技术特性,MQTT可以在不稳定的传输条件下工作。因此它适用于我们的机器人模型。在图11中,无线传感器数据采集系统由3个客户端组成,其中AMG8833和MAX30102是2个传感器节点(称为MQTT客户端),它们相互独立,与机器人一起进行数据采集。每当传感器节点“找到”由机器人发出的Wi-Fi网络时,它们就会连接到服务器。所有采集到的传感器数据都存储在电脑上的软件中,为医生提供医疗数据。
图11. 使用MQTT协议的传感器数据交换图
二、提出的方法
1. 合并移动机器人定位传感器数据的程序(简略):使用扩展的卡尔曼过滤器为机器人定位:移动机器人的坐标系和参数符号被设计为在房间的平坦地板上移动;在传感器融合步骤中定义矩阵;计算矩阵R、h和V;激光雷达卡尔曼滤波器参数识别;局部和全局地图匹配:使用直率的算法将来自局部和全局图的相同地标的提取线段一起匹配;线参数协方差的估计。
2. 控制机器人追踪轨迹:主要目标是控制移动机器人以跟踪特定轨迹,带有时间限制的路径的不同轨迹添加了该路径,这使得控制目标不仅可以最大程度地减少机器人和路径之间的距离,还可以确保行驶时间。
3. 使用超声波传感器通过VFH+控制机器人避开障碍物:在行进过程中,机器人必须能够发现并避开意外的障碍,对于这些情况,使用近距离传感器系统,即在机器人上安装12个超声波距离传感器,如图12(a)所示,用于检测机器人前方和两侧的障碍物。VFH+方法使用直方图网格来映射机器人周围的环境。该地图会随着从安装在机器人上的超声波传感器获得的到障碍物的距离数据不断更新,如图12(b)所示。该方法将在遇到障碍物时找到最佳运动方向,并为机器人找到合适的速度控制(线速度、角速度)。
图12. (a)超声波传感器布置图;(b)通过在移动过程中连续采样超声波传感器来更新直方图网格
4. 患者身份证明:为了在机器人移动过程中保持机器人与患者之间的距离来引导患者,我们应用了人脸检测技术。如图13和图14所示,根据2个三角形的相似性原理,确定图像中人脸的高度,并计算图像传感器到站在摄像头前的人脸的距离。
图13. 确定摄像头焦距的方法
图14. 使用三角形相似性方法确定距离
5. 消毒与灭菌:图1(a)和1(b)描述了机器人的消毒和灭菌组件。其中,紫外线灯安装在机器人的后部,用于消毒。紫外线灯的功率为36W,波长为253.7nm,灯的玻璃外壳具有波长为185nm的过滤功能,可在空气中产生臭氧。消毒方法如下:在机器人身体前方有一个容量为20L的含0.1%活性氯消毒液容器(推荐使用)。通过布置在机器人前底盘下方的两个喷嘴,均匀喷洒在感染专用治疗室表面,剂量为0.3 -0.5L/m2。设备布置如图1(b)所示,按照医疗机构的建议,将消毒液沿低于患者卧位向前喷洒并扩散,机器人每移动1m,喷洒的溶液量相当于1mL(每个喷嘴处)。因此,如果携带20L溶液,机器人可对60m2的整个房间进行150次消毒。除消毒外,根据机器人的运动示意图,机器人还专门配备了地面清洁功能。机器人下方安装有4个直径为170mm的旋转刷,刷子通过轮子的驱动力被动旋转,弹簧将拖把装置压在地板上,以确保地板和刷子表面之间没有缝隙或间隙,可以简单地取出刷子以进行清洁或更换。
6. SpO2传感器和AMG8833传感器:首先,使用Maxim Integrated™示例代码中提供的公式计算血氧饱和度(SpO2)。计算红色和红外通道的脉动波形分量,并将其存储在整数变量(ACRed、ACIR、DCRed、DCIR)中,作为5个连续峰/谷的平均值。然后使用方程(1)根据平均AC和DC值计算AC和DC的比率(R),并通过方程(2)计算SpO2值:
(1)
Sp02 = -45,060R2 + 30,345R + 94,84 (2)
接下来,AMG8833传感器根据物体发出的热辐射来测量物体的温度。Stefan-Boltzmann定律用公式(3)描述了物体发出的能量, 其中P为物体辐射的功率;T是物体的温度;A是表面积;σ是Stefan-Boltzmann常数,ε是物体的发射率(对于不吸收所有入射辐射的物体—灰体,值从0到<1;如果是绝对黑体,则等于1)。
P = εAσT 4 (3)
应用Moghaddam公式,我们可以计算出灰体的温度如下,其中,Vout是传感器的输出电压;T0是被测物体的表面温度;Ts是传感器热敏电阻的温度;k是经验常数,代表参数A、ε、σ以及测量过程中可能存在的电子噪声(校准传感器)。
Vσut = k (T 4 - T 4) (4)
根据(4),物体的表面温度将通过公式(5)计算:
To = (Vσut / k +T 4 ) 1/4 (5)
三、实验结果
1. 遵循轨迹并避开障碍物的机器人:根据图15(a)所示的病房形状和大小,我们可以绘制地图并设定机器人的运动轨迹,如图15(b)所示,箭头方向为运动方向。机器人既要沿着轨迹行进,又要进行消毒(消毒路面宽0.65m),在接近病床时,机器人将在不接触病人的情况下收集数据。在没有激光雷达和有激光雷达的情况下,对机器人进行了传感器融合测试。为了避免机器人运动轨迹上出现意外的障碍物,采用了向量场直方图+(VFH+)方法。实际测量机器人的真实路径。
图15. (a)医疗室平面图;(b)机器人在遵循轨迹时的不同配置路径
图16给出了三种情况下机器人的路径结果:绿线为真实轨迹,红线为仅使用编码器时的轨迹,蓝线为添加激光雷达传感器时的轨迹。只使用编码器时,由于误差噪声的累积,当轨迹较长时,机器人会偏离真实轨迹,导致机器人在走完全程之前与房间内的设备发生碰撞,不得不结束行程。在融合编码器和激光雷达传感器时,基于卡尔曼滤波器的定位方法得出的机器人路径结果最接近真实轨迹。这种方法是基于激光雷达获得的数据,并与全局地图相匹配。图16显示了激光雷达传感器沿轨迹获取的数据,红线是从点中提取并与地图匹配的线段。卡尔曼滤波器将使用匹配的线段来计算矩阵值,以便滤波器定位。实验结果表明,当增加更多传感器时,卡尔曼滤波器的效果会更好,位置估计结果更接近真实的线值。
图16. 数据来自激光雷达,线段与地图匹配
图17提供了当机器人遇到障碍物阻碍轨迹时的移动结果。机器人使用VFH+方法,根据安装在机器人上的超声波传感器的数据避开障碍物。结果表明,该机器人能够有效地避障,并在避开障碍物后保持轨迹。
图17. 机器人通过VFH+方法避开障碍物
2. 收集患者体温和SpO2数据:如图18所示,根据机器人的移动地图,沿途设置了一些停靠点,供机器人停靠并收集传感器数据。我们安排测试人员躺在与停止点相对应的床上,进行传感器数据采集。
图18. 机器人数据收集断点图
黄色点为停止位置;AMG8833传感器节点的方向箭头,用于采集体温数据。数据收集过程遵循以下步骤:每当机器人移动到停止状态时,它将在中心执行2-3次旋转。(1)首先,在停止位置1,机器人将按照红色箭头所示的路径方向向右旋转45°,这是从图像传感器中心到躺在床上的病人面部(病人的躺姿为仰卧、直立、面向天花板)所确定的方向。每次旋转时,机器人都会停止3秒(通过实际测试确定),以便AMG8833传感器读取右侧病人的体温数据。接下来向左转90°,收集左边病人的体温数据。第三次旋转时,机器人继续向左旋转135°,从停止位置出来,继续行走;(2)在停止位置2,机器人执行与停止位置1相同的动作,收集两侧2名患者的数据;(3)在停止位置3,机器人只进行了两次左转,第一次角度为45°,第二次角度为135°,以收集左侧病人的数据;(4)每次旋转后,传感器数据将被发送到计算机。如图19、图20所示,我们可以看到,机器人每次停止时,每隔0.5s就会向计算机发送一次传感器数据。
对于温度图,红色像素表示高于35℃的温度,这也是测试器的位置,位于2床的测试参与者的红色像素团向右倾斜,位于3床的测试参与者的红色像素团向左倾斜;对于SpO2图,每3s会有6个数据样本发送到计算机,SpO2和心率图上两组数据之间的空隙表示机器人在6s内从2号床位方向旋转45°到3号床位方向所需的时间。
图19. 2号床测试参与者的最终数据样本
图20. 3号床测试参与者的最终数据样本
四、结论和未来发展
本文介绍了一种名为CEE-IMR的新型移动机器人设计,该研究为移动机器人提供了一种智能消毒系统和间接测量系统,支持医院中COVID-19或传染病治疗。智能消毒机器人可以改善现有消毒方法的不足,提高消毒质量,降低感染概率。该机器人模型采用智能照片识别、独立传感器实时监控消毒过程,并自主智能规划动作。结果评估证明了所提方法的有效性。自动空气和表面消毒以及非人类患者监控减少了感染者与医护人员之间不必要的直接接触。这些结果可用于医院的实际应用,并显示出良好的前景。在未来的发展中,我们将在系统中部署更多的人工智能技术和安全方法。系统可以更加独立地运行,并适应灵活工作环境中的突然变化。系统中还可以嵌入更多设施,为医院中的病人和医生提供必要的服务。
这项工作目前的局限性在于,机器人还没有经过人工智能技术的训练,无法适应周围的环境或人,这将为机器人带来更多的功能,使其在传染病环境中工作时更加有效。
编译节选自:MethodsX. 2024 Sep 4;13:102941