美林数据技术专家团队|基于边缘智能的作业现场安全落地实践
2022-07-08 14:01:42
次
引言
随着企业信息化、数字化、智能化进程的不断推进，以人工智能为基础的视频智能识别分析，作用于施工作业现场人员的安全管控，成为一种更加精准、高效的方式。
传统基于监控的事后人工核查方式，存在时空覆盖不全，易造成漏查、未查等问题，基于边缘智能的视频分析技术，借助边缘计算设备，在监控源头提供近端智能分析服务，实现对违章行为的实时识别分析，智能化的解析出具体违章信息及人员信息，从而将视频这种非结构数据转化为结构化数据，为后续决策分析提供基础。本文结合某厂房作业现场安全场景，介绍基于边缘智能的作业现场安全落地相关实践。
整体框架概述
本次检测识别模型包括安全帽检测、安全带检测、抽烟检测和人脸识别，基于边缘硬件可对视频流进行实时分析，智能识别现场违规行为，并将违规行为的结构化信息和违规图片，上传至安全预警管控服务器进行存储和展示，同时实现告警信息与现场告警喇叭的联动，实现现场违规行为的实时告警，整体部署框架如下图所示：
数据采集包括全局摄像头和人脸采集装置，全局摄像头采集的数据一方面连接硬盘录像机进行存储，另一方面连接边缘计算设备进行检测; 人脸采集装置将规整后的人脸信息存入人脸数据库，以实现对人员身份信息进行识别。对于检测的违章情况，通过MQTT传输至安全预警管控服务器进行管理，同时结合违章信息通过告警喇叭进行警告。预警可视化从安全预警管控服务器中抽取违章信息进行统计展示，并在核查后可直接生成报表。
关键技术概述
由于厂房区域比较开阔及设备多样，常规基于枪机的采集方法及通用模型检测方式，会对模型检测精度产生较大影响。在实际场景落地时，除了模型本身调优之外，我们从PTZ跟踪变焦、事件检测和小目标检测技术来保证模型检测精度，同时配合模型调度来保证多模型并发执行效率。
►PTZ跟踪变焦
PTZ跟踪变焦采用海康全结构化双800万全局摄像头实现，当全景摄像头检测到人员进入时，会启动对人员的跟踪，同时联动球机变焦，对人员进行连续抓拍，示意如下：
另，对于场景中有多个对象时，会将跟踪对象放入队列中，通过轮询的方式实现对多人的跟踪抓拍。由于全景摄像头和细节球机坐标系不同，而在后续检测结果合并时，需要将检测结果转换到统一坐标中，因此需在获取抓拍图片时记录相应的坐标信息。
通过跟踪变焦，可以实现远距离目标的清晰抓拍，为后续远距离人脸识别、小目标抽烟检测等检测模型提供高质量的数据，从数据层面来保证模型的检测精度。
►事件检测
事件检测将传统基于单帧的检测方式转换为基于多帧的决策，以减少模型误判，保证模型的检测精度。传统单帧的检测方式严重依赖模型的效果，一旦模型出现误判，无法自我纠正；而基于多帧决策的方式，将多帧的结果进行汇总，并依据统计来判定是否为违规异常，从而大幅度较少模型的误判，同时降低了模型学习优化的难度。
事件检测基于内存数据库实现对检测结果的增删改查，同时防止模型在检测到异常时，不间断触发报警的情况，并可通过定时器来控制报警间隔。
小目标检测基于两阶段检测方式实现，以抽烟模型为例，示意如下：
基于两阶段的抽烟检测流程，如上图所示，第一阶段采用基于Yolov4-tiny的手检测模型，从整幅图片中定位出手所在的区域，这样可极大减少后续烟支检测的计算量；第二阶段，考虑到目标本身所包含的判别信息，采用语义分割模型来对烟支所在区域的像素进行区分，判断是否有烟的存在，最终，完成抽烟的判定。通过这种方式，从流程上来保证模型的检测精度。
►模型调度
模型调度采用TritonServer推理框架，其可以动态加载模型库中的相关模型，实现多模型对GPU资源的调用和热更新，客户端通过HTTP方式实现模型服务的调用。本次落地后端实现框架包含TensorRT和C++，故借助其多后端支撑能力，实现基于C++backends扩展模型服务，从而实现多模型推理的部署调用，保证模型的服务能力。
综上，针对作业现场安全管控，聚焦作业面积大、环境复杂、需实时告警等问题，借助PTZ变焦跟踪、事件检测、小目标检测技术，从数据质量、业务流程、检测流程上来保障模型检测精度，同时结合边缘设备和TritonServer推理框架，实现边缘端多模型服务部署，以支撑作业现场多摄像头、多模型实时违章检测。在保障现场安全的同时，将视频这种非结构数据转化为结构化数据，为后续决策分析提供数据基础。
Tempo商业智能平台
Tempo人工智能平台
Tempo数据工厂平台
Tempo指标平台
Tempo数据治理平台
Tempo主数据管理平台
首页
陕公网安备 61019002000171号
