背景
在 Kubernetes 集群运行过程中，我们有时会遇到 Pod 处在 Terminating 状态无法正常删除的问题，即使该 Pod 对应的 Deployment 或者 StatefulSet 已经被删除了。这种情况会导致集群资源占用问题，同时也会影响集群健康状态。
原因分析
Pod 处在 Terminating 状态主要是因为 Kubernetes 控制器在删除 Pod 时，需要一定的时间进行清理工作，包括对它所拥有的资源进行回收、网络连接的关闭等。在这个过程中，如果控制器无法正常和 API Server 通信，或者 Pod 内部正在执行关键任务导致容器无法正常退出，就可能出现 Pod 处在 Terminating 状态无法删除的情况。
解决方案
1. 检查控制器和 API Server 的健康状态
Kubernetes 控制器和 API Server 是集群中非常核心的两个组件，如果它们之间的通信出现异常，就可能导致 Pod 处在 Terminating 状态无法正常删除。我们可以通过 kubectl get pods --all-namespaces 命令查看所有 Pod 的状态，找到出现问题的 Pod 所在的 Namespace 和节点，然后通过 kubectl describe node <node-name> 命令检查该节点上 kubelet 的健康状态，确保控制器和 API Server 可以正常连接。
2. 检查 Pod 内部的进程状态
当 Pod 的容器内部出现问题时，可能会导致容器无法正常退出，从而引发 Pod 处在 Terminating 状态无法删除的情况。我们可以通过 kubectl exec 命令进入该 Pod 内部，运行 ps -ef 命令查看所有进程的状态，找到可能导致问题的进程并尝试手动停止。如果无法手动停止，可以考虑重启 Pod，并尝试重新分配该 Pod 所在的节点。
3. 手动删除被卡住的 Pod
当 Pod 处在 Terminating 状态无法正常删除时，我们可以尝试手动删除该 Pod。这里我们提供一个常用的删除命令：
kubectl delete pod <pod-name> --grace-period=0 --force
该命令会提示 Kubernetes 强制删除该处于 Terminating 状态的 Pod。如果该 Pod 内部正在执行关键任务，该命令可能会导致应用程序的异常退出。因此，在手动删除 Pod 之前，需要确认该 Pod 内部的应用程序状态，确保没有任何问题才能进行操作。
结论
Pod 处在 Terminating 状态无法正常删除是 Kubernetes 集群中常见的故障之一，它可能由于各种原因导致，因此我们需要做好相应的故障排除工作。总体来说，保证 Kubernetes 控制器和 API Server 的健康状态、检查 Pod 内部进程的状态、以及手动删除被卡住的 Pod 是解决该问题的常见手段。在实践过程中，我们需要根据实际情况选取合适的方法进行解决。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/66fb50de44713626015b484e