如何解决AI模型落地难，构建统一协作的企业级MLOps平台

随着应用市场的下沉，市场上仍旧缺乏普惠的 AI 工具，即便在企业拥有相关开发、建模人才的情况下，AI 科学家和业务人员之间仍旧存在技术鸿沟。他们习惯使用各自的平台和工具进行数据分析或建模工作，这些数据资产被分散在企业各个角落，造成了模型的重复构建和资源的孤岛林立。而这些人才无法在同一个 AI 平台上一起协作，发挥出他们各自的优势能力，这是 AI 落地目前面临最大的挑战。

01企业 AI 落地，到底难在哪里

企业在涉及到人工智能业务时，其研发流程需经历从明确业务问题->数据采集及清洗->特征工程->模型训练及打包->模型评估及验证->模型部署及上线->A/B test，以及模型监控和迭代的工作流程。整个链条非常长，容易涉及到多个平台间的切换。在任何环节出现功能短板或缺失，都会影响模型的开发效率和开发质量，或导致模型无法及时在实际业务当中部署应用。

图1：AI 模型研发流程

在 AI 建模全生命周期中，涉及到企业内各类角色的协作，如：行业/领域专家、数据科学家、数据工程师、开发者/DevOps 专家等等。这些角色均有各自擅长的技能，可以为 AI 建模的某些流程贡献智慧，如行业/领域专家对业务有深入洞见，擅长通过数据构建业务模型；数据科学家擅长数据分析、特征加工、ML 模型开发及测试；数据工程师擅长进行数据收集、数据治理和数据加工；开发者/DevOps 专家擅长软件工具及基础设施的构建与维护，帮助数据科学家将 ML 模型转化为实际生产力。

图2：AI 相关人才技能地图（来源：Gartner）

这些角色由于专业背景和职能的不同，都习惯使用各自的平台或工具推进工作，在流程衔接方面会存在大量重复性数据、环境适配工作，造成 AI 模型开发的周期大大拉长，且无法进行数据、模型等资源的统一管理和资产沉淀。

02容天汇海推出 Omnisky-Brain MLOps--模型落地和 AI 协作的加速器

什么是 MLOps？

MLOps 是将 DevOps 实践应用于机器学习生命周期的术语。它包括自动化整个机器学习流程，从数据准备和模型训练到部署和监控。MLOps 的目标是使组织能够更快、更可靠地开发和部署机器学习模型，并实现规模化。

图3：MLOps 的定义

对于各用户角色而言，都能凭借容天 Omnisky-Brain MLOps 平台提供的个性化功能，获得不同工作环节上的效率提升，比如：为数据科学家提供了高性能的分布式模型开发&训练环境及在线 Notebook 功能，方便其进行数据探索、特征工程及模型构建工作；为数据工程师提供了方便的模型打包、上架和调试功能，方便其快速将模型上架到实际生产环境；为前台业务人员提供了 API 调用，方便其快速获取结果数据，并及时查看不同模型对业务的实际效果，并可以发送到数据科学家手中，进行后续的模型迭代和调优工作。

MLOps的好处

MLOps 最大的优势是它允许组织更好地管理机器学习的复杂性。通过将 DevOps 原则（如版本控制、持续集成和自动化测试）应用于机器学习，MLOps 帮助团队更有效地协作并在流程早期捕捉错误。这反过来导致更快速的高质量模型交付，和改进的准确性和性能。MLOps 还提高了机器学习模型的透明度和可重复性。通过跟踪从数据预处理到模型训练和部署的每个步骤，MLOps 确保模型可以轻松地进行审核、重现和适应新的用例。这在制造业、金融和医疗保健等受监管行业尤其重要，因为模型必须是可解释和可追溯的。

MLOps的实现

MLOps 的实现需要多方面的支持，包括自动化工具、基础设施和人员技能。自动化工具可以帮助团队简化机器学习流程的管理，包括数据管理、模型训练和部署等。基础设施是支持 MLOps 的重要组成部分，包括计算资源、存储、网络和安全等。人员技能方面，MLOps 需要开发人员、数据科学家、机器学习工程师和 DevOps 工程师等多个职业的合作。因此，组织需要提供培训和支持，以帮助团队掌握所需的技能和知识。

03容天 Omnisky-Brain 面向多行业方向的 MLOps

容天 Omnisky-brain MLOps 平台（后统称“OB平台”）提供了完整的机器学习生命周期管理，包括数据预处理、模型训练、模型部署和模型监控等功能。这些功能能够帮助企业快速构建和部署高质量的机器学习模型，并实现规模化。同时，OB平台还提供了自动化工具、基础设施和人员培训等支持，以帮助团队更有效地实现 MLOps。容天 MLOps 解决方案包括以下几个模块：

MLflow

容天 MLflow 是一个机器学习生命周期管理模块，可以帮助团队更好地管理和跟踪机器学习模型的整个生命周期。该平台支持模型版本控制、模型训练和部署、模型性能监控等功能，可以帮助团队更好地管理和优化机器学习模型。

数据治理

数据治理模块是一个数据湖解决方案，可以帮助企业更好地管理和优化大规模数据。该解决方案支持数据版本控制、数据质量监控、数据安全和可靠性保障等功能，可以帮助团队更好地管理和优化数据。

资源管理

资源管理模块是一个容器化的机器学习解决方案，可以帮助企业更好地管理和部署机器学习模型。该解决方案支持在 Kubernetes 集群上运行机器学习工作负载，可以帮助团队更好地管理和优化机器学习模型。

综上所述，容天的 MLOps 解决方案可以帮助企业更快速、更可靠地开发和部署机器学习模型，实现规模化。通过结合自动化工具、基础设施和人员技能，帮助团队更有效地实现 MLOps，提高生产效率和质量，优化供应链，实现智能制造，提高产品竞争力和用户满意度。

图4：容天 MLOps 系统架构图

04结论

MLOps 是组织希望规模化利用机器学习的关键学科。通过将 DevOps 原则应用于机器学习流程，MLOps 使团队能够更快速、更可靠地开发和部署模型，并实现规模化。虽然 MLOps 存在挑战，但改进协作、透明度和可重复性的好处使它成为组织在机器学习这个快速发展领域保持领先的有价值投资。

容天 Omnisky-Brain MLOps 打通了 AI 的全生命周期，为企业的各类用户角色搭建了统一的 AI 协作平台。对于企业而言，MLOps 规模化集成管理了多源异构的机器学习模型，并提供高效且保障隐私安全的模型推理、监控预警及性能评估服务；对用户而言，能感受到操作上的快捷，AI 应用与部署更是如虎添翼。未来，MLOps 将继续迭代更加丰富的功能，赋能企业 AI 更快、更好地落地。