如果您是数据科学家或使用机器学习 (ML) 模型，您将拥有标记数据的工具、训练模型的技术环境以及对 MLop 和模型操作的基本理解。如果您有 ML 模型在生产中运行，您可能会使用 ML 监控来识别数据漂移和其他模型风险。
数据科学团队使用这些基本的 ML 实践和平台在模型开发、配置基础设施、将 ML 模型部署到不同环境以及大规模维护模型方面进行协作。其他寻求增加生产模型数量、提高预测质量并降低 ML 模型维护成本的人可能也需要这些 ML 生命周期管理工具。
不幸的是，向业务利益相关者和预算决策者解释这些实践和工具并不容易。对于想要了解机器学习和人工智能投资的投资回报和业务影响并且更愿意远离技术和运营杂草的领导者来说，这都是技术术语。
数据科学家、开发人员和技术领导者认识到，获得认可需要定义和简化行话，以便利益相关者了解关键学科的重要性。继上一篇关于如何向业务主管解释 DevOps 术语的文章之后，我想我会写一篇类似的文章来阐明业务领导者应该理解的几个关键 ML 实践。
作为开发人员或数据科学家，您拥有一个工程流程，可以将新想法从概念转化为交付业务价值。该过程包括定义问题陈述、开发和测试模型、将模型部署到生产环境、监控生产中的模型以及启用维护和改进。我们将此称为生命周期过程，因为我们知道部署是实现业务价值的第一步，而且一旦投入生产，模型就不是静态的，需要持续的支持。
企业领导者可能不理解生命周期这个词。许多人仍然认为软件开发和数据科学工作是一次性投资，这也是许多组织遭受技术债务和数据质量问题困扰的原因之一。
用关于模型开发、训练、部署和监控的技术术语来解释生命周期会让业务主管的眼睛呆滞。 Sauce Labs 技术战略副总裁 Marcus Merrell 建议为领导者提供一个真实世界的类比。
“机器学习在某种程度上类似于农业：我们今天所知道的作物是前几代人注意到模式、尝试组合并与其他农民共享信息以利用积累的知识创造更好的变化的理想结果，”他说。 “机器学习与您的算法训练时的观察、级联结论和复合知识的过程大致相同。”
我喜欢这个类比的地方在于，它说明了从一个作物年到下一个作物年的生成学习，但也可以考虑在生长季节可能因天气、供应链或其他因素而发生的实时调整。在可能的情况下，在您的行业或您的业务领导者了解的领域中找到类比可能会有所帮助。
大多数开发人员和数据科学家认为 MLops 等同于机器学习的 devops。自动化基础架构、部署和其他工程流程可改善协作并帮助团队将更多精力集中在业务目标上，而不是手动执行技术任务。
但对于需要简单定义 MLops 的业务主管来说，所有这些都是杂草，尤其是当团队需要工具预算或时间来建立最佳实践时。
Aporia 的首席技术官兼联合创始人 Alon Gubkin 说：“MLops 或机器学习操作是数据科学、IT 和业务之间协作和沟通的实践，以帮助管理机器学习项目的端到端生命周期。” . “MLops 是关于将组织内的不同团队和部门聚集在一起，以确保有效部署和维护机器学习模型。”
Talend 的技术产品营销经理 Thibaut Gourdel 建议为更受数据驱动的业务领导者添加一些细节。他说，“MLops 促进将敏捷软件原则应用于 ML 项目，例如数据和模型的版本控制以及持续的数据验证、测试和 ML 部署，以提高模型的可重复性和可靠性，以及您的团队’生产力。
每当您可以使用传达图片的单词时，将术语与示例或故事联系起来就容易得多。高管从诸如因风而漂移的船等示例中了解漂移是什么，但他们可能难以将其转化为数据、统计分布和模型准确性的世界。
Fiddler AI 的首席人工智能官兼科学家 Krishnaram Kenthapadi 说：“当模型在生产中看到的数据不再类似于它所训练的历史数据时，就会发生数据漂移。” “这可能是突然的，就像 COVID-19 大流行带来的购物行为变化一样。无论漂移是如何发生的，快速识别这些变化对于保持模型准确性和减少业务影响至关重要。”
Gubkin 提供了第二个示例，说明数据漂移是从训练模型的数据中逐渐转变的。 “数据漂移就像一家公司的产品随着时间的推移变得不那么受欢迎，因为消费者的偏好发生了变化。”
John Snow Labs 的 CTO David Talby 分享了一个普遍的类比。 “模型漂移发生在由于其运行的生产环境不断变化而导致精度下降时，”他说。 “就像一辆新车的价值在你把它开出停车场的那一刻就开始下降一样，一个模型也是如此，因为它所训练的可预测研究环境在生产中表现不同。不管它运行得有多好，随着周围世界的变化，模型总是需要维护。”
数据科学领导者必须传达的重要信息是，由于数据不是静态的，因此必须对模型的准确性进行审查，并根据更新的相关数据进行再培训。
制造商如何在将产品装箱并运送给零售商和客户之前衡量质量？制造商使用不同的工具来识别缺陷，包括当装配线开始显示与可接受的输出质量存在偏差时。如果我们将 ML 模型视为产生预测的小型制造工厂，那么数据科学团队需要 ML 监控工具来检查性能和质量问题是有道理的。 Neo4j 的数据科学解决方案架构师凯蒂·罗伯茨 (Katie Roberts) 说：“ML 监控是在生产过程中使用的一组技术，用于检测可能对模型性能产生负面影响的问题，从而导致质量不佳的洞察力。”
制造和质量控制是一个简单的类比，这里有两条建议提供 ML 模型监控细节：“随着公司加速对 AI/ML 计划的投资，AI 模型将从数十个急剧增加到数千个。每一个都需要安全存储并持续监控以确保准确性，”Teradata 首席产品官 Hillary Ashton 说。
MLops 侧重于协作开发、部署和维护模型的多学科团队。但是，领导者应该如何决定投资哪些模型，哪些模型需要维护，以及在哪些方面为人工智能和机器学习的成本和收益创造透明度？
这些是治理问题，也是 modelops 实践和平台旨在解决的部分问题。业务领导者想要模型操作，但在部分实施之前不会完全理解需求及其交付的内容。
这是一个问题，尤其是对于寻求对 modelops 平台进行投资的企业而言。 Mphasis 的首席执行官兼董事总经理 Nitin Rakesh 建议以这种方式解释模型操作。 “通过专注于模型操作，组织可以确保部署和维护机器学习模型以实现价值最大化并确保对不同版本的治理。”
Ashton 建议包括一个示例练习。 “Modelops 允许数据科学家识别和修复数据质量风险，自动检测模型何时降级，并安排模型再训练，”她说。
仍有许多新的 ML 和 AI 功能、算法和技术带有令人困惑的行话，它们将渗入业务领导者的词汇表中。当数据专家和技术专家花时间用业务领导者理解的语言解释术语时，他们更有可能获得协作支持和新投资的支持。