kubernetes Admission Control

大番茄 2019年12月11日 1,118次浏览

v1.16

https://kubernetes.io/docs/reference/access-authn-authz/admission-controllers/
https://kubernetes.io/zh/docs/reference/access-authn-authz/admission-controllers/

用户合法认证-----> 权限认证(如:rbac, node) ---------> 访问控制(Admission Control)

访问控制用于在对象持久之前但在请求得到验证和授权之后，截取对Kubernetes API服务器的请求， 然后做一些动作。

相当于是执行操作前做的一些动作， 如：
修改请求内容， 创建相关的资源， 添加默认配置， 以及资源限制。。。。。

Kubernetes中的许多高级功能都需要启用访问控制才能正确支持该功能。因此，未正确配置正确的访问控制器集的Kubernetes API服务器是不完整的服务器。如： LimitRanger、ResourceQuota。

v1.16 默认启动的插件：

NamespaceLifecycle, LimitRanger, ServiceAccount, TaintNodesByCondition, Priority, DefaultTolerationSeconds, DefaultStorageClass, StorageObjectInUseProtection, PersistentVolumeClaimResize, MutatingAdmissionWebhook, ValidatingAdmissionWebhook, RuntimeClass, ResourceQuota

所有的插件:

AlwaysAdmit, AlwaysDeny, AlwaysPullImages, DefaultStorageClass, DefaultTolerationSeconds, DenyEscalatingExec, DenyExecOnPrivileged, EventRateLimit, ExtendedResourceToleration, ImagePolicyWebhook, LimitPodHardAntiAffinityTopology, LimitRanger, MutatingAdmissionWebhook, NamespaceAutoProvision, NamespaceExists, NamespaceLifecycle, NodeRestriction, OwnerReferencesPermissionEnforcement, PersistentVolumeClaimResize, PersistentVolumeLabel, PodNodeSelector, PodPreset, PodSecurityPolicy, PodTolerationRestriction, Priority, ResourceQuota, RuntimeClass, SecurityContextDeny, ServiceAccount, StorageObjectInUseProtection, TaintNodesByCondition, ValidatingAdmissionWebhook

这里显示的插件没有顺序关系。 在实际使用的时候顺序也很重要。

在每个请求被集群接受之前，准入控制插件依次执行。如果插件序列中任何一个拒绝了该请求，则整个请求将立即被拒绝并且返回一个错误给终端用户。

api-server启动参数:

--enable-admission-plugins: 用来指定启用的插件。这个不是白名单，默认启动的插件就算没有指定也会启动。
--disable-admission-plugins: 用来指定禁用的插件。
默认启用的插件只要没有禁用都会启用。

已经启用的插件可以通过apiserver的metrics接口获apiserver_admission_controller_admission_duration_seconds的数据，如下面是在prometheus查询的。

image-bce5dd30

介绍一些访问控制插件

AlwaysAdmit:

允许所有，相当于没有访问控制， 不推荐使用。

AlwaysPullImages:

影响镜像拉取策略，在启动容器之前总是尝试重新拉取镜像，v1.16测试发现设置pod的imagePullPolicy=Never以后照样还是会拉取镜像。
对于多租户的环境非常有用，不允许使用其他租户下载的镜像，只能去重新拉取自己的。因为镜像在同一台机器上，镜像名称相同的话就可以使用其他租户已经下载的镜像了，这对于其他租户肯定是不乐意的。

AlwaysDeny:

拒绝所有请求，已被弃用。

DenyExecOnPrivileged:

已废弃，合并到了DenyEscalatingExec
如果一个pod 拥有一个特权容器，这个插件将拦截所有在该 pod 中执行 exec 命令的请求。
如果集群支持特权容器，并且希望限制用户在这些容器中执行 exec 命令的能力，强烈建议启用这个插件。

DenyEscalatingExec:

这个插件将拒绝在拥有衍生特权而具备访问宿主机能力的 pod 中执行 exec 和 attach 命令。这包括在特权模式运行的 pod ，可以访问主机 IPC 命名空间的 pod ，和访问主机 PID 命名空间的 pod 。
如果集群支持使用以衍生特权运行的容器，并且希望限制最终用户在这些容器中执行 exec 命令的能力，强烈建议启用这个插件。

启用以后执行kubectl exec会被拒绝。

[root@k8s-master1 ~]# kubectl exec -it pods/test-serviceaccount /bin/bash
Error from server (Forbidden): pods "test-serviceaccount" is forbidden: cannot exec into or attach to a privileged container

ImagePolicyWebhook:

ImagePolicyWebhook 插件允许使用一个后端的 webhook 程序来完成admission controller的功能。这个插件需要一个配置文件，通过--admission-control-config-file参数指定。

ServiceAccount:

这个插件实现了serviceaccount的自动配置以及错误提醒。 如果使用 Kubernetes 的 ServiceAccount 对象，最好都要指定。
功能如：
1、pod配置中如果没有指定serviceaccountname，会自动添加上default serviceaccount，并且挂载serviceaccount(namespace,token,ca) 到 /var/run/secrets/kubernetes.io/serviceaccount。如果没有这个插件，就算pod中指定了serviceaccountname，启动的容器里也不会挂载指定的serviceaccount。
2、pod配置中指定的serviceaccount不存在的话会报错，创建失败。 如果没有指定这个插件，不会报错。

SecurityContextDeny:

该插件将拒绝任何试图设置SecurityContext字段的 pod。如果集群没有使用 pod 安全策略来限制安全上下文，那么应该启用这个功能。
这个securitycontext是PodSecurityContext，pod级别的属性与安全设置，不是设置在containers里的那个。
比如：

apiVersion: v1
kind: Pod
metadata:
  labels:
    app: test-serviceaccount
  name: test-serviceaccount
spec:
  securityContext:
    runAsUser: 1000
    runAsGroup: 1000
  containers:
  - args:
    - /bin/bash
    - -c
    - while true;do echo hello world hh;sleep 2;done
    image: harbor.qfpay.net/library/qfpaypython2.7
    imagePullPolicy: Always
    name: test-serviceaccount

[root@k8s-master1 ~]# kubectl create -f tttt
Error from server (Forbidden): error when creating "tttt": pods "test-serviceaccount" is forbidden: pod.Spec.SecurityContext.RunAsUser is forbidden

ResourceQuota:

资源配额，作用于namespace。跟踪所有请求，以确保请求符合 ResourceQuota 中的限制，确保在namespace上的资源配额使用不会超标。如果您在 Kubernetes 部署中使用了 ResourceQuota ，您必须使用这个插件来强制执行配额限制。
强烈建议将这个插件配置在准入控制插件序列的末尾。这样namespace所使用配额资源就不会过早地增加，然后在后面的准入控制中又被拒绝。

LimitRanger:

确保请求符合在 Namespace 中定义的 LimitRange 对象的资源限制。如果您在 Kubernetes 中使用了 LimitRange 对象，则必须启用此插件。

NamespaceLifecycle:

使用不存在 Namespace 的请求会被拒绝。并且删除 Namespace 会触发删除该命名空间中所有对象的操作。

DefaultStorageClass:

对于 PersistentVolumeClaim 对象的创建，如果没有指定storage class，会自动添加默认的 storage class 。
当没有配置默认 storage class 时，这个插件不会执行任何操作。当一个以上的 storage class 被标记为默认时，拒绝 PersistentVolumeClaim 创建并返回错误，管理员必须重新检查 StorageClass 对象，并且只标记一个作为默认值。这个插件忽略了任何 PersistentVolumeClaim 更新，它只对创建起作用。

DefaultTolerationSeconds:

这个插件设置了 pod 默认的宽恕容忍时间，对于那些没有设置宽恕容忍时间的 pod ，可以容忍 notready:NoExecute 和 unreachable:NoExecute 这些 taint 5分钟。

PodNodeSelector:

通过读取命名空间的annotation字段和全局配置, 来对命名空间中对象的NodeSelector设置默认或限制取值。

NodeRestriction

防止 kubelet 添加/删除/更新带有 node-restriction.kubernetes.io/ 前缀的标签。

用于预防节点被污染以后恶意修改node标签, 导致pod被调度。

上一篇： k8s 二进制部署 十 (kube-proxy)