在运行机器学习模型和深度学习算法时，GPU 是一种非常有用的资源。而在容器编排中，Kubernetes 是目前最为流行的容器编排平台之一。本文将介绍如何在 Kubernetes 中管理 GPU 资源，包括配置 NodeSelector，使用 GPU 挂载卷、node-feature-discovery 等。
配置 NodeSelector
NodeSelector 是 Kubernetes 中的一项特性，它允许在 Kubernetes 集群中，通过键值对匹配的方式来筛选合适的 node，将任务调度到符合要求的 node 上。
在 Kubernetes 中，NodeSelector 的配置是通过 pod 的 spec.nodeSelector 来进行的。示例代码如下：
-- -------------------- ---- -------
----------- --
----- ---
---------
-------
---- -------
----- -------
-----
-------------
---- ------
-----------
- ----- -------------
------ --------------------------------
-------- -------------
----- ------ ------ ----------上述示例中，我们配置了一个 Pod，它只能调度到 Node 上，其中指定了标签 gpu 为 true 的节点上运行。需要注意的是，这需要 Node 具有 gpu 标签，Pod 才能被调度到该节点上运行。
使用 GPU 挂载卷
除了使用 NodeSelector 之外，我们还可以使用 GPU 挂载卷来管理 Kubernetes 上的 GPU 资源。使用 GPU 挂载卷，可以使得 GPU 资源在容器之间得到共享，从而显著提高 GPU 资源的利用率。具体使用方法，请参考下面的示例代码：
-- -------------------- ---- -------
----------- --
----- ---
---------
-------
---- -------
----- -------
-----
-----------
- ----- -------------
------ --------------------------------
-------------
- ----- ------
---------- -----------------
-------- -------------
----- ------ ------ ----------
--------
- ----- ------
---------
----- -----------------上述代码中，我们首先定义了一个名为 nvidia 的卷，它的类型是 hostPath。然后，我们在定义 Pod 中的 container 时，将该卷挂载到了 /usr/local/nvidia 目录上。这样，该容器中的应用程序就可以直接使用 host 上的 Nvidia 驱动程序和 CUDA 库，无需在容器内部再安装。
需要注意的是，因为使用 hostPath 类型的volume，所以要保证部署 Pod 的 host 上必须安装了 Nvidia 驱动程序和 CUDA 库。
使用 node-feature-discovery
node-feature-discovery 是一个在 Kubernetes 集群中自动发现节点资源特征的工具。它可以帮助我们准确地识别 Kubernetes 集群中的 GPU 资源，然后直接对它们进行操作。
使用 node-feature-discovery 需要在 Kubernetes 集群中安装该工具，然后对其进行详细配置。接下来，我们来看一下如何配置 node-feature-discovery。
- 创建 DaemonSet
首先，我们需要创建一个 DaemonSet 用来安装并运行 node-feature-discovery，示例代码如下：
-- -------------------- ---- -------
----------- -------
----- ---------
---------
----- ----------------------
-------
------------------- ----------------------
-----
---------
------------
---- ----------------------
---------
---------
-------
---- ----------------------
-----
------------
- --------- --------
-----------
- ----- ----------------------
------ --------------------------------------------
--------
- ------
- ---------------
- --------------------------------上述示例中，我们定义了一个名为 node-feature-discovery 的 DaemonSet。该 DaemonSet 的作用是在集群内每个节点上安装 node-feature-discovery 容器，并将该容器的 master 设置为 http://127.0.0.1:8080。
- 添加 NodeSelector 标签
在安装好 node-feature-discovery 之后，需要在每个节点上添加 NodeSelector 标签，以便 node-feature-discovery 容器能够正确发现节点资源特征。例如，我们可以在每个节点上添加如下的 gpu 标签：
apiVersion: v1
kind: Node
metadata:
name: gpu-node
labels:
gpu: "true"上述示例中，我们在节点 gpu-node 上添加了 gpu 标签。
- 查看 GPU 资源
最后，我们可以使用 kubectl describe node 命令来查看 Kubernetes 集群中 GPU 资源的详细信息：
> kubectl describe node gpu-node Capacity: alpha.kubernetes.io/nvidia-gpu: 2 Allocatable: alpha.kubernetes.io/nvidia-gpu: 2 ...
上述示例中，我们可以看到 gpu-node 节点上的 alpha.kubernetes.io/nvidia-gpu 资源有 2 个。
总结
本文介绍了如何管理 Kubernetes 上的 GPU 资源，包括使用 NodeSelector 配置节点选择，使用 GPU 挂载卷和使用 node-feature-discovery 工具自动发现节点资源特征等方法。通过以上方法，我们可以很好地管理 Kubernetes 上的 GPU 资源，并有效提高 GPU 的利用率。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/6465b49c968c7c53b065ead6