关于【毫升是什么单位】,ml是什么单位,今天八宝盒小编给您分享一下,如果对您有所帮助别忘了关注本站哦。
内容导航:1、对MLOps的简单介绍2、毫升是什么单位:ml是什么单位1、对MLOps的简单介绍机器学习运营世界的指南。
Yashaswi Nayak-12分钟阅读
你好
你想了解MLOps,你就来对地方了。
在这篇文章中,我们将了解什么是MLOps或机器学习操作。我将尝试简化ML运营及其相关基础设施的庞大而有趣的世界。这篇文章是为那些想了解ML模型如何被部署到生产中的人准备的,包括阶段、过程和它所涉及的泪水。
让我们开始吧!
什么是MLOps?机器学习操作涉及一套流程,或者说是为将ML模型部署到生产环境而实施的一系列步骤。在一个ML模型为生产准备就绪之前,有几个步骤需要进行。这些过程确保你的模型可以为大型用户群进行扩展,并准确执行。
我们为什么需要MLOps?
创建一个能够从你输入的数据中预测你希望它预测的东西的ML模型是很容易的。然而,创建一个可靠、快速、准确并能被大量用户使用的ML模型是很困难的。
MLOps的必要性可以概括为以下几点。
ML模型依赖于大量的数据,一个人很难掌握。很难跟踪我们在ML模型中调整的参数。小的变化可能导致结果的巨大差异。我们必须跟踪模型所使用的特征,特征工程是一项独立的任务,在很大程度上有助于提高模型的准确性。监控一个ML模型并不像监控一个部署的软件或网络应用。调试一个ML模型是一门极其复杂的艺术模型依靠现实世界的数据进行预测,随着现实世界数据的变化,模型也应随之变化。这意味着我们必须跟踪新的数据变化,并确保模型进行相应的学习。还记得软件工程师使用的老借口吗?我们要避免它。
软件工程师与ML工程师 (图片来自作者)
你一定听说过古老的DevOps。构建和部署软件应用程序的过程。你可能想知道MLOps有什么不同。
DevOps循环 (图片来自作者)
DevOps阶段是针对开发一个软件应用的。你计划你要发布的应用程序的功能,编写代码,构建代码,测试它,创建一个发布计划并部署它。你监控部署应用程序的基础设施。这个循环一直持续到应用程序完全建成。
在MLOps中,事情是不同的。我们实施以下阶段
ML项目的生命周期(图片由作者提供
范围界定 - 我们定义项目,检查问题是否需要机器学习来解决。执行需求工程,检查相关数据是否可用。核实数据是否无偏见,是否反映了真实世界的使用情况。
数据工程--这一阶段包括收集数据、建立基线、清理数据、格式化数据、标记和组织数据。
建模 - 现在我们来到了编码部分,在这里我们创建了ML模型。我们用处理过的数据来训练模型。进行误差分析,定义误差测量,并跟踪模型性能。
部署 - 在这里我们对模型进行打包,根据需要在云端或边缘设备上进行部署。包装可以是--用暴露REST或gRPC端点的API服务器包装的模型,部署在云基础设施上的docker容器,部署在无服务器的云平台上,或基于边缘模型的移动应用程序。
监测 - 一旦部署完成,我们就依靠监测基础设施来帮助我们维护和更新模型。这个阶段有以下几个部分。
有时会有一个反馈循环,因为有些模型可能需要从用户的输入和预测中学习。这个生命周期对大多数的ML用例都是有效的。
掌握了ML项目的基本生命周期的知识后,让我们来看看ML方面的基础设施情况。
ML生产基础设施ML基础设施(图片由作者提供
现在我们学习一下,如果一个模型要部署到生产中,我们需要什么样的基础设施设置。你可以在上图中看到,ML代码只是其中的一小部分。让我们逐一了解这些组件。
数据收集 - 这一步涉及从各种来源收集数据。ML模型需要大量的数据来学习。数据收集包括整合与问题相关的各种原始数据。例如,图像分类可能需要你收集所有可用的图像或从网上搜刮图像。语音识别可能需要你收集大量的音频样本。
数据验证 - 在这一步,我们检查数据的有效性,如果收集的数据是最新的,可靠的,并反映了真实的世界,它是否有适当的可消费的格式,数据的结构是否正确。
特征提取--在这里,我们为模型选择最佳的特征进行预测。换句话说,你的模型可能不需要全部的数据来发现模式,一些列或部分数据可能根本就不需要使用。有些模型在放弃一些列时表现良好。我们通常按重要性对特征进行排序,重要性高的特征被包括在内,较低的或接近零的特征被放弃。
配置--这一步涉及设置通信协议、系统集成以及管道中的各种组件应该如何相互对话。你希望你的数据管道连接到数据库,你希望你的ML模型以适当的访问方式连接到数据库,你的模型以某种方式暴露预测端点,你的模型输入以某种方式格式化。系统所需的所有必要的配置都需要适当地敲定和记录。
ML代码 - 现在我们,来到了实际的编码部分。在这个阶段,我们开发一个基础模型,它可以从数据中学习和预测。外面有大量的ML库,支持多种语言。例如:Tensorflow, pytorch, scikit-learn, keras, fast-ai等等。一旦我们有了一个模型,我们就开始通过调整超参数,测试不同的学习方法来提高它的性能,直到我们确信这个模型的性能比它以前的版本要好。
机器资源管理 - 这一步涉及ML模型的资源规划。通常,ML模型在CPU、内存和存储方面需要大量资源。深度学习模型依赖GPU和TPU进行计算。训练ML模型涉及时间和金钱方面的成本。较慢的CPU涉及更多的时间,强大的CPU则价格较高。模型越大,你要投资的存储就越大。
分析工具 - 一旦你的模型准备好了,你怎么知道这个模型的性能是否达到了标准。我们在这个阶段决定进行模型分析。我们如何计算损失,我们应该使用什么误差测量,我们如何检查模型是否漂移,预测结果是否正确,模型是否被过度拟合或欠拟合?通常情况下,我们实现模型的库都有分析包和误差测量。
项目管理工具 - 跟踪一个ML项目是非常重要的。在处理庞大的数据、功能、ML代码、资源管理时,很容易迷失方向和混乱。幸运的是,互联网上有很多项目管理工具可以帮助我们。
服务基础设施 - 一旦模型被开发、测试并准备就绪,我们需要将其部署到用户可以访问的地方。大部分的模型都部署在云上。像AWS、GCP和Azure这样的公共云供应商甚至有特定的ML相关功能,以方便模型的部署。根据预算,你可以选择适合你需求的供应商。
如果我们正在处理一个基于边缘的模型,我们需要决定如何使用ML模型,它可以是一个移动应用程序,用于图像识别、语音识别等用例。我们也可以为某些用例配备定制的芯片和处理器,如特斯拉的案例中的自动驾驶。在这里,我们必须考虑到有多少计算能力可用,以及我们的模型尺寸有多大。
监控 - 我们需要实现一个监控系统来观察我们部署的模型和它所运行的系统。收集模型日志、用户访问日志和预测日志将有助于维护模型。有几个监控解决方案,如greylog、elasticstack和fluentd。云供应商通常会提供他们自己的监控系统。
现在我们已经了解了ML项目生命周期是如何运作的,基础设施场景在ML生产中是怎样的。我们将学习如何在生产中部署ML模型。
为了理解这一点,我们将看看仁和她对ML引擎的追求。
Jane有一个巨大的南瓜园,每年她都把南瓜卖给镇上的居民和当地的南瓜香料拿铁工厂。由于她每年都有大量的需求,她看每一个南瓜并检查它是好是坏变得很乏味。
因此,她找你帮助她开发一个ML引擎,帮助她预测某个南瓜是好是坏。
Jane需要帮助对她的南瓜进行分类。(图片由作者提供)
一开始,这是一个简单的分类问题。
让我们来讨论一下我们解决这个问题的方法。
首先,我们收集所有关于仁的南瓜园的信息。所有好的南瓜、还可以的南瓜和坏的南瓜的照片。然后,我们要求好的乡亲们寄来他们从珍那里买的南瓜的照片。(有些人寄来的是西瓜的照片!他们真可耻)这一步是EDA+编译数据集。现在我们已经收集好了图片。是时候给这些贴上标签了,在Jen的帮助下,我们给几百张图片贴了标签。我们检查图片的分辨率,设定一个标准的分辨率,丢弃低质量的图片,格式化图片的对比度和亮度,以提高可读性。这一步是数据准备现在我们训练一个tensorflow模型来对图像进行分类。假设我们使用一个具有ReLU激活功能的顺序神经网。我们定义1个输入层,2个隐藏层,1个输出层,就是一个基本的卷积神经网。我们将图像数据集分成训练集和测试集,提供训练数据作为ConvoNet的输入。该模型被训练。这一步是模型训练。一旦模型训练完成,我们通过使用测试数据集来评估模型。在预测的基础上,我们比较结果并检查预测的准确性。这个步骤就是模型评估。我们调整模型的超参数,以提高准确性,重新训练模型并再次评估。这样反复进行,直到我们满意地认为该模型对Jen来说已经足够好。这一步是模型分析。现在我们有了我们的工作模型,我们把它部署起来,这样Jen就可以在她的日常工作中使用这个ML引擎。我们在云端创建一个带有预测API的服务器,创建一个应用程序或网站,她可以在那里上传图像并实时获得结果。这就是模型的部署。我们已经手动完成了所有的工作,从数据准备到部署。祝贺你!这个MLOps的过程被称为Level-0。我们已经实现了我们的部署,但所有的事情都是手动完成的。你可以参考下面的图。
MLOps Level-0 (图片由作者提供)
Jane很高兴。
分类(图片由作者提供)
现在,需求已经开始上升。你不能每天都手动训练模型。因此,你创建了一个自动化管道,以验证数据,进行准备,并训练模型。你还试图通过比较多个错误指标来获取最佳的可用模型。该管道负责处理这一切。这个过程是MLOps的第一级。在这里,模型的训练和分析是自动进行的。你只需要检查是否有合适的数据,并确保没有一个倾斜的数据集,以便模型得到正确的训练。
MLOps Level-1 (图片来自作者)
大多数公司都达到了MLOps的这个水平。这也是个人数据科学家或ML工程师可以实现的。当你在开发环境中测试模型时,这已经很不错了。
现在让我们问自己几个问题。
你的模型是否能够用不同品种的南瓜复制出结果?当新的数据被添加到数据集中时,你的模型是否能够重新训练?你的模型能被数十万人同时使用吗?规模大吗?当你在一个大区域甚至全球范围内部署模型时,你如何跟踪它们?这将我们引向第二层。
现在是看大局的时候了......
MLOps Level-2 (图片由作者提供)
让我们来分析一下这个过程。
在流程图中, 我们在红线以上所做的一切--是第一级。这整个Orchestrated Experiment现在是自动ML管道的一部分。我们引入了一个特征库,它从各种来源获取数据,并将数据转换为模型所需的特征。ML管线分批使用存储的数据。ML管道连接到一个元数据存储。可以把它看作是记账,因为你不会手动训练模型--这个商店有管道中每个阶段的记录。一旦一个阶段完成,下一个阶段就会查找记录列表,找到前一个阶段的记录,并从那里继续。然后,这些模型被存储在一个模型注册中心。我们有一堆具有不同精度的模型存储在这里。根据需求,适当的模型被发送到CI/CD管道,该管道将其作为预测服务进行部署。经授权的用户能够在需要时访问预测服务。这个系统的性能受到监控。假设你有一堆新的转基因南瓜。你的模型并不清楚这一点。这是一个新的数据集,很有可能被错误地分类。这种性能的下降将设置一个触发器,这将导致在新数据上重新训练模型。这个循环还在继续。当性能下降或有新数据可用时,我们会重新训练模型。保持模型的最新性是很好的,这样现实世界的变化就会反映在模型中。例如:你的模型不应该推荐磁带,因为世界已经转移到数字流媒体。
如果你不知道它是什么,请谷歌一下磁带
今后该何去何从?唷!那是一次相当大的冒险。给自己拍拍背吧
我们介绍了什么是MLOps?你为什么要使用它?生产基础设施的设置会是什么样子的?而且,一旦你有了基础设施,你将如何实施它--这个过程。
你可以从创建简单的模型和自动化的步骤开始。记住,这是一个迭代的过程,需要时间来得到它。
请查看一些MLOps工具,如MLFlow、Seldon Core、Metaflow 和Kubeflow Pipelines。
谢谢您的阅读!请注意安全!
2、毫升是什么单位:ml是什么单位容积单位
mL,毫升,容积计量单位。当计量单位用字母表达时,一般情况单位符号字母用小写;当单位来源于人名时,符号的第一个字母必须大写。只有体积单位“升”特殊,这个符号可写成大写L,又可写成小写的l。
ml是一个容积计量单位,跟立方厘米对应,容积单位的主单位是升(L)。“升”的符号最早是小写的,由于小写l与阿拉伯数字1难以分辨,后来国际计量大会作出决议,“升”的符号可以写成大写L,这样在小写尚未废除的情况下,大小写并用。这是国际单位制中唯一并非来源于科学家名字命名而可以使用大写的符号。按照国际单位书写要求,用于表示毫(10^-3)的字母为“m”,不得与表示兆(10^6)的字母“M”混用。
体积单位一般用:立方米、立方分米、立方厘米;固体的容积单位与体积单位相同,而液体和气体的体积与容积单位一般都用升、毫升。
在计算物体的体积或容积前一般要先测量长、宽、高,求物体的体积是从该物体的外部来测量,而求容积却是从物体的内部来测量。一种既有体积又有容积的封闭物体,它的体积一定大于它的容积。
计量液体的体积,如水、油等,常用容积单位升和毫升,也可以写成L和mL。1升=1立方分米=1000毫升=1000立方厘米=1000000立方毫米。
计算容积一般用容积单位,如升和毫升,但有时候还与体积单位通用。由于容积单位最大的是“升”,所以计算较大物体的容积时,通用的体积单位还是要用“立方米”。升和毫升是计算物体的体积不能用的,它只限于计算液体,如药水、汽油、墨水等。
本文关键词:ml是什么单位,1000ml是什么单位=多少斤,500ml是什么单位多少克,mm是什么单位的名称,ml是什么单位怎么读。这就是关于《毫升是什么单位,ml是什么单位(对MLOps的简单介绍)》的所有内容,希望对您能有所帮助!更多的知识请继续关注《八宝盒百科》百科知识网站:http://tj.jiuquan.cc!