k8s
未读
volcano plugin-1
Job和Task 关于所有的插件代码里有一个task和pod关系的问题: 看了一下官方的例子 apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
name: test-job-webhook-disallow
spec:
sch
k8s
未读
六、Hyperparameter Tuning and Auto ML
在前几章中,我们已经看到Kubeflow如何帮助机器学习的各个阶段。但是,了解每个阶段该做什么——无论是特征准备、训练还是模型部署——都需要一定的专业知识和实验。根据“没有免费午餐”定理,没有一个模型能够适用于所有的机器学习问题,因此每个模型都必须精心构建。如果每个阶段都需要大量的人工投入,那么完全
k8s
未读
五、Training a ML Model
训练通常被认为是机器学习工作中的“核心”部分。我们的目标是创建一个能够准确预测未见结果的函数(即“模型”)。直观上,模型训练与人类学习新技能的过程非常相似——我们观察、练习、纠正错误,并逐步改进。在机器学习中,我们从一个初始模型开始,这个模型可能表现不佳。然后,我们通过一系列训练步骤来优化模型,将训
k8s
未读
四、Artifact and Metadata store
机器学习通常涉及处理大量原始和中间(转换)数据,最终目标是创建和部署模型。为了理解我们的模型,有必要能够探索用于其创建和转换的数据集。这些数据集的集合和应用于它们的转换称为我们模型的元数据 。 有许多不同的选项用于跟踪模型的元数据。Kubeflow为此有一个内置工具,称为Kubeflow ML元数据
k8s
未读
三、Kubeflow Pipelines
在上一章中,我们描述了Kubeflow管道,它是Kubeflow中用于编排ML程序的组件。编排是必要的,因为典型的机器学习实现使用工具的组合来准备数据、训练模型、评估性能和部署。通过在代码中形式化步骤及其排序,管道允许用户正式捕获所有数据处理步骤,确保它们的可再现性和可审计性,以及培训和部署步骤。
k8s
未读
二、Kubeflow架构
1、Notebooks (JupyterHub) 大多数项目的第一步是某种形式的原型和实验。Kubeflow用于此目的的工具是JupyterHub——一个多用户中心,可以生成、管理和代理单用户Jupyter notebook的多个实例。Jupyter notebook支持整个计算过程:开发、记录和执
k8s
未读
一、KubeFlow概述
参考书籍:《Kubeflow for Machine Learning From Lab to Production》 模型开发生命周期(Model development life cycle)(MDLC)是一个通常用于描述训练和推理之间的流程的术语。在触发模型更新时,整个循环再次开始。 Kube
Go
未读
命令行工具Cobra
https://cloud.tencent.com/developer/article/2403412 1、Cobra简介 Cobra 是一个 Go 语言开发的命令行(CLI)框架,它提供了简洁、灵活且强大的方式来创建命令行程序。它包含一个用于创建命令行程序的库(Cobra 库),以