Kubernetes入门到进阶实战，系统性掌握K8s生产实践
通常web应用获取用户客户端的真实ip一个很常见的需求，例如将用户真实ip取到之后对用户做白名单访问限制、将用户ip记录到数据库日志中对用户的操作做审计等等
必看！如何download课程
在vm时代是一个比较容易解决的问题，但当一切云原生化（容器化）之后变得稍微复杂了些
k8s中运行的应用通过Service抽象来互相查找、通信和与外部世界沟通，在k8s中是kube-proxy组件实现了Service的通信与负载均衡，流量在传递的过程中经过了源地址转换SNAT，因此在默认的情况下，常常是拿不到用户真实的ip的
这个问题在k8s官方文档(https://kubernetes.io/zh/docs/tutorials/services/source-ip/)中基于Cluster IP、NodePort、LoadBalancer三种不同的Service类型进行了一定的说明，这里不再剖析
2、环境介绍
本篇仅介绍私有云+外部硬件负载+k8s集群的真实场景下如何进行配置
相关环境及设备说明如下
3、相关说明
真实生产场景下，一般提供给用户的都是七层https服务
首先域名解析在外部负载设备绑定的公网ip上，负载周边可能还会有一些安全设备例如WAF等，这里不多介绍
流量经过负载后进入到k8s集群中，其中Ingress Controller以DaemonSet方式部署并使用hostNetwork模式接收并处理到达宿主机的80、443端口流量
关于https证书的配置，一般有以下两种可选方式：
配置在负载设备（负载类型如果只考虑七层负载），由负载负责将数据包封包解包，并转发到后端，如果用户通过https形式访问，流量经过的流程是：用户端——>负载80端口——>负载443端口——>服务端(k8s node)的80端口配置在后端，例如Ingress资源上，如果用户通过https形式访问，流量经过的流程是：用户端——>负载80端口——>服务端(k8s node)的80端口——>服务端(k8s node)的443端口
但是为了获取用户的真实ip，只能选择方式一，因为如果证书配置在后端服务，流量经过负载时是加密的，负载一般在没有证书的情况下，是无法对数据包进行解包操作透传用户ip的
以上在公有云环境下，例如腾讯云CLB、阿里云新的应用型负载ALB或传统型负载CLB均有涉及，可能不尽详细
4、环境准备
首先需要准备一个后端获取用户请求，显示打印或输出的应用，可以自己手撸一个简单应用，当然为了操作简单也可以选择nginx容器在应用日志中查看，更好的方式是选择whoami、echoserver这类镜像
其中whoami可以在控制台访问服务时打印用户请求等相关信息，echoserver可以在浏览器呈现用户请求等相关信息
这里为了模拟和真实应用一样的场景，选择更为直观的echoserver，其源镜像地址为gcr.io/google-containers/echoserver
如果网络不佳，可以从我的地址获取ssgeek/echoserver
首先基于k8s部署该应用，创建deploy、svc、ing，定义如下
apiVersion: apps/v1kind: Deploymentmetadata: name: echoserver labels: app: echoserverspec: selector: matchLabels: app: echoserver template: metadata: labels: app: echoserver spec: containers:- name: echoserver image: ssgeek/echoserver:latest ports:- containerPort:8080 env:- name: NODENAME valueFrom: fieldRef: fieldPath: spec.nodeName – name: PODNAME valueFrom: fieldRef: fieldPath: metadata.name – name: PODNAMESPACE valueFrom: fieldRef: fieldPath: metadata.namespace – name: PODIP valueFrom: fieldRef: fieldPath: status.podIP—apiVersion: v1kind: Servicemetadata: name: echoserver labels: app: echoserverspec: ports:- port:80 targetPort:8080 name: http selector: app: echoserver—apiVersion: extensions/v1beta1kind: Ingressmetadata: name: echoserver annotations: kubernetes.io/ingress.class: nginxspec: rules:- host: echo.ssgeek.com http: paths:- backend: serviceName: echoserver servicePort:80 path:/
5、负载配置
这里简单分析及列出关键配置
插入请求头以透传ip
部署好后端服务后，开始配置外部（深信服）负载，除了导入https证书外，还需要在转发的请求头中插入X-Forwarded-For头部，确保用户ip在经过负载时作为请求头的一部分传递到后端服务器
负载设备到后端请求头部改写
由于负载设备到后端的80端口，因此后端只接收http请求，也就是请求经过负载处理https及证书相关动作
未添加请求头部改写时，对请求抓包的现象对比如下（分别为无https配置时和有https配置但未改写请求头部时）
6、Ingress Controller 配置
修改Nginx Ingress Controller配置，添加如下内容
参考：https://kubernetes.github.io/ingress-nginx/user-guide/
data: use-forwarded-headers:”true” compute-full-forwarded-for:”true” forwarded-for-header:”X-Forwarded-For”
use-forwarded-headers如果为true，会将传入的X-Forwarded-*头传递给upstreams如果为false，会忽略传入的X-Forwarded-*头，用看到的请求信息填充它们。如果直接暴露在互联网上，或者它在基于L3/packet-based load balancer后面，并且不改变数据包中的源IP时使用此选项forwarded-for-header设置标头字段以标识客户端的原始IP地址。默认: X-Forwarded-Forcompute-full-forwarded-for将远程地址附加到 X-Forwarded-For标头，而不是替换它。启用此选项后，upstreams应用程序将根据其自己的受信任代理列表提取客户端IP
7、服务端验证
服务端请求暴露及应用获取ip效果如下
正常情况可拿到以下几类ip
pod ip
k8s pod自身的ip
node ip
k8s pod所在node的ip
负载 ip
位于请求头X-Forwarded-For字段中
用户真实 ip
位于请求头X-Forwarded-For字段、x-original-forwarded-for字段、x-real-ip字段中
关于x-forwarded-for、x-original-forwarded-for、x-real-ip的说明：
X-Forwarded-For用于记录从客户端地址到最后一个代理服务器的所有地址
X-Real-IP用于记录请求的客户端地址
X-Original-Forwarded-For字面意思是原始转发 IP，这是Ingress的功能，Ingress将用户的真实IP记录到了这个字段
对应用来说，以java应用为例，获取用户ip的代码如下
/*** 获取操作用户ip *@return */private String getIp(){ HttpServletRequest request; try { request =((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getRequest();} catch (NullPointerException e){ return “127.0.0.1”;} //取客户端ip String ipAddress = request.getHeader(“x-forwarded-for”); if (ipAddress == null ipAddress.length()==0 “unknown”.equalsIgnoreCase(ipAddress)){ ipAddress = request.getHeader(“Proxy-Client-IP”);} if (ipAddress == null ipAddress.length()==0 “unknown”.equalsIgnoreCase(ipAddress)){ ipAddress = request.getHeader(“WL-Proxy-Client-IP”);} if (ipAddress == null ipAddress.length()==0 “unknown”.equalsIgnoreCase(ipAddress)){ ipAddress = request.getRemoteAddr(); if (ipAddress.equals(“127.0.0.1”)){
暂无评论内容