k8s
未读
k8s Scheduler framework
最近又申到了GLCC的一个项目:kuscia 这是一个基于k8s Scheduler framework写的调度器,实现了一个plugin叫kusciascheduling 在写之前需要复习一下调度器框架的写法。原生调度器和volcano的逻辑还是有很大区别的 参考:https://kubernet
Docker
未读
Containerd
1、Docker、Containerd、runc containerd 是容器运行时的管理器,runc 是实际启动容器的工具。 +---------------------------+
| Kubernetes (Kubelet) |
+--------------------------
k8s
未读
volcano plugin-2
nodeorder nodeorder 是 Volcano 调度器的核心插件之一,用于实现节点排序策略的加权组合,基于多种调度算法的综合得分决定任务的最佳部署节点。支持原生 Kubernetes 的多种调度策略,通过用户定义的权重参数灵活调整各策略的影响力。 核心功能: 多策略集成:整合 Kuber
k8s
未读
volcano plugin-1
Job和Task 关于所有的插件代码里有一个task和pod关系的问题: 看了一下官方的例子 apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
name: test-job-webhook-disallow
spec:
sch
k8s
未读
六、Hyperparameter Tuning and Auto ML
在前几章中,我们已经看到Kubeflow如何帮助机器学习的各个阶段。但是,了解每个阶段该做什么——无论是特征准备、训练还是模型部署——都需要一定的专业知识和实验。根据“没有免费午餐”定理,没有一个模型能够适用于所有的机器学习问题,因此每个模型都必须精心构建。如果每个阶段都需要大量的人工投入,那么完全
k8s
未读
五、Training a ML Model
训练通常被认为是机器学习工作中的“核心”部分。我们的目标是创建一个能够准确预测未见结果的函数(即“模型”)。直观上,模型训练与人类学习新技能的过程非常相似——我们观察、练习、纠正错误,并逐步改进。在机器学习中,我们从一个初始模型开始,这个模型可能表现不佳。然后,我们通过一系列训练步骤来优化模型,将训
k8s
未读
四、Artifact and Metadata store
机器学习通常涉及处理大量原始和中间(转换)数据,最终目标是创建和部署模型。为了理解我们的模型,有必要能够探索用于其创建和转换的数据集。这些数据集的集合和应用于它们的转换称为我们模型的元数据 。 有许多不同的选项用于跟踪模型的元数据。Kubeflow为此有一个内置工具,称为Kubeflow ML元数据