k8s
未读
五、Training a ML Model
训练通常被认为是机器学习工作中的“核心”部分。我们的目标是创建一个能够准确预测未见结果的函数(即“模型”)。直观上,模型训练与人类学习新技能的过程非常相似——我们观察、练习、纠正错误,并逐步改进。在机器学习中,我们从一个初始模型开始,这个模型可能表现不佳。然后,我们通过一系列训练步骤来优化模型,将训
k8s
未读
四、Artifact and Metadata store
机器学习通常涉及处理大量原始和中间(转换)数据,最终目标是创建和部署模型。为了理解我们的模型,有必要能够探索用于其创建和转换的数据集。这些数据集的集合和应用于它们的转换称为我们模型的元数据 。 有许多不同的选项用于跟踪模型的元数据。Kubeflow为此有一个内置工具,称为Kubeflow ML元数据
k8s
未读
三、Kubeflow Pipelines
在上一章中,我们描述了Kubeflow管道,它是Kubeflow中用于编排ML程序的组件。编排是必要的,因为典型的机器学习实现使用工具的组合来准备数据、训练模型、评估性能和部署。通过在代码中形式化步骤及其排序,管道允许用户正式捕获所有数据处理步骤,确保它们的可再现性和可审计性,以及培训和部署步骤。
k8s
未读
二、Kubeflow架构
1、Notebooks (JupyterHub) 大多数项目的第一步是某种形式的原型和实验。Kubeflow用于此目的的工具是JupyterHub——一个多用户中心,可以生成、管理和代理单用户Jupyter notebook的多个实例。Jupyter notebook支持整个计算过程:开发、记录和执
k8s
未读
一、KubeFlow概述
参考书籍:《Kubeflow for Machine Learning From Lab to Production》 模型开发生命周期(Model development life cycle)(MDLC)是一个通常用于描述训练和推理之间的流程的术语。在触发模型更新时,整个循环再次开始。 Kube
k8s
未读
Kubernetes DNS
Kubernetes 网络权威指南:基础、原理与实践 Kubernetes Master 存储了所有 Service 的定义和更新。但是,要与后端 Pod 通信的客户端 Pod 在使用 Service 实现负载均衡时也需要知道这些请求会发送到何处。这些 Pod 可以将网络信息存储在容器环境变量中,但
k8s
未读
Docker 网络的4种模式
Kubernetes 网络权威指南:基础、原理与实践 我们在使用 docker run 命令创建 Docker 容器时,可以使用 --network选项指定容器的网络模式。 Docker 有以下4种网络模式: bridge 模式,通过--network=bridge 指定; host 模式,通过--