AI火了,但数据分析模型管理难、部署难的问题,应该怎么解决?
2023-05-30 16:49:00
次
近年来,随着数字化基础设施建设不断完善,企业产业智能升级的需求不断增长,人工智能产业发展进入“快车道”。随着人工智能和机器学习在各个行业的应用逐渐深入,AI模型数量将呈现几何级数增长,而这也带来了一些问题:
▶管理难:不同模型之间的框架、部署方式不尽相同,导致异构模型很难统一管理和维护;
▶部署难:模型部署缺少统一的流程规范,模型部署周期过长,运维成本高。
为解决AI模型难以统一管理、无法快速部署及模型落地难等问题,美林数据AI团队倾力研发了一套基于Fass框架实现的三方模型管理平台。
三方模型管理平台
三方模型是基于开源项目OpenFaas,为数据科学家构建的一套模型的在线开发、统一管理、部署和运维的管理平台,可以让AI模型的工程化部署应用更加简单、便捷和高效。平台采用Serverless的服务模式构建,具备高扩展、高可用和高性能等特点,用户无需再关注底层服务构建和资源分配等细节问题,可以更聚焦于业务模型代码的开发。
△三方模型功能架构图
▶ 异构AI模型统一管理,运维更省心
对于不同AI模型的框架(Tensorflow、PMML、Keras、PyTorch等)构建一个Docker基础镜像,在三方模型平台上进行统一的上传和管理;在模型开发时,平台提供了统一的模板,进行在线开发和在线调试,同时支持模型的版本管理,确保每个模型具有可追溯性。
▶ 一键发布AI模型,部署更快捷
模型上线部署可通过界面式参数进行配置,配置好模型的相关参数后,即可一键发布模型,还能生成标准API,供后续服务调用,降低部署难度和复杂度。另外,平台还支持多种函数触发器创建同步服务、异步服务、Kafka服务和调度任务等,满足工程化的部署应用需求。
▶AI模型横向扩张,运行更智能
三方模型所管理的AI模型是运行在K8s集群上,K8s集群可以横向扩展、根据并发请求数、CPU、内存等指标实现自动扩缩容,当服务空闲时,实例副本能自动缩减到零,确保资源的合理利用。
▶AI模型在线写代码,开发更高效
平台内嵌编辑器,可提供统一的开发环境,无需用户在本地搭建环境,实现模型的在线开发与封装,降低维护成本,提升模型的开发效率。
▶一站式建模,流程更完整
三方模型管理平台在实践操作中,涵盖了从模型接入、模型管理、模型运维到模型应用的全流程。
通过平台,能实现AI算法模型的快速部署,让整体效率提升4.5倍,即使同时在线上百个模型预测服务,单条数据也可实现毫秒级响应。
小T总结
三方模型能让数据科学家无需关注底层运行环境,只专注于业务模型代码的开发,在线编码、快速进行模型部署,并成功解决了异构模型统一管理和运维的问题,三方模型采用函数即服务(Fass)架构实现,具备资源易扩展、高可用和高性能等特点,帮助企业快速进行AI模型部署和应用。