😡 kubernetes coredns | HINFO: read udp xxx read: no route to host 관련 해결(파드 내부에서 외부 연결 실패)

🚨 Error :

$ k get po -A
NAMESPACE      NAME                                 READY   STATUS    RESTARTS   AGE
kube-flannel   kube-flannel-ds-xxxxx                1/1     Running   0          52s
kube-flannel   kube-flannel-ds-xxxxx                1/1     Running   0          52s
kube-system    coredns-xxxxxxxxxx-xxxxx             1/1     Running   0          8m57s
kube-system    coredns-xxxxxxxxxx-xxxxx             1/1     Running   0          8m57s
kube-system    etcd-xxxxx                           1/1     Running   0          9m4s
kube-system    kube-apiserver-xxxxx                 1/1     Running   0          9m4s
kube-system    kube-controller-managerxxxxx         1/1     Running   0          9m4s
kube-system    kube-proxy-xxxxx                     1/1     Running   0          8m57s
kube-system    kube-proxy-xxxxx                     1/1     Running   0          88s
kube-system    kube-scheduler-xxxxx                 1/1     Running   0          9m4s

• master와 worker node에 쿠버네티스를 설치하고 보면 이러한 상태가 되어있다.
• 참고로 나는 oracle linux 8.10에 Kubernetes 1.32v, CNI 플러그인은 flannel을 사용 중이다. 
• 언뜻 보기에는 제대로 설치된 것 같다.
• 여기서 테스트 파드를 만들어보자.

 

🚨 busybox.yaml 생성

apiVersion: v1
kind: Pod
metadata:
  name: busybox
  labels:
    app: busybox
spec:
  containers:
    - name: busybox
      image: busybox:latest
      command:
        - sleep
        - "3600" # Pod가 1시간 동안 실행됨. 필요시 값을 변경.
  restartPolicy: Always

 

🚨 파드 실행

$ k apply -f busybox.yaml 
pod/busybox created
$ k get po -A
NAMESPACE      NAME                                 READY   STATUS    RESTARTS   AGE
default        busybox                              1/1     Running   0          7s

• 파드를 실행했다.

 

🚨 DNS 정보 조회하기

# master node

# 구글 웹사이트 dns 정보 조회
$ nslookup google.com
Server:         169.254.169.254
Address:        169.254.169.254#53

Non-authoritative answer:
Name:   google.com
Address: 142.250.198.14
Name:   google.com
Address: 2404:6800:4004:822::200e

# 핑 보내보기
$ ping 142.250.198.14
PING 142.250.198.14 (142.250.198.14) 56(84) bytes of data.
64 bytes from 142.250.198.14: icmp_seq=1 ttl=120 time=36.1 ms
64 bytes from 142.250.198.14: icmp_seq=2 ttl=120 time=36.1 ms
64 bytes from 142.250.198.14: icmp_seq=3 ttl=120 time=36.1 ms
--- 142.250.198.14 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2002ms
rtt min/avg/max/mdev = 36.069/36.077/36.083/0.219 ms

• 파드 내부 접속를 하기 전에 kubectl 명령어를 수행할 마스터 노드에서 구글 웹사이트의 dns 정보를 조회해 보자.
• nslookup이라는 명령어를 사용하면 된다.
• 그럼 해당 도메인의 ip 주소가 나오는데, 이 ip 주소로 ping도 잘 보내지는 것을 확인했다.

 

🚨 파드 내부 접속

# 파드 내부 접속
$ k exec -it busybox -- sh

# ping 날려보기
/ # ping 142.250.198.14
PING 142.250.198.14 (142.250.198.14): 56 data bytes
64 bytes from 142.250.198.14: seq=0 ttl=119 time=42.431 ms
64 bytes from 142.250.198.14: seq=1 ttl=119 time=42.463 ms
--- 142.250.198.14 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 42.431/42.447/42.463 ms

• ping을 보내도 응답을 잘 받는다.
  • 즉, kubernetes 설치 전 후로 특별한 설정을 해놓지 않는 이상 pod 내부에서 외부로의 요청은 기본적으로 막지 않는다는 사실을 알 수 있다.
• 그럼 dns 정보 조회는 어떨까?

 

🚨 파드 내부에서 DNS 정보 조회

/ # nslookup google.com
Server:         10.96.0.10
Address:        10.96.0.10:53

** server can't find google.com: SERVFAIL

*** Can't find google.com: No answer

• 찾을 수 없다고 나온다.
• 이게 문제였다.
• 나는 스프링 부트 서버를 띄우고 해당 스프링부트 서버가 외부 API 통신을 해야 하는데 도메인 주소를 찾지 못해 계속 실패하는 상황이 발생했다.

🤓 원인 :

🤓 마스커레이딩(Masquerading)

• 마스커레이딩은 SNAT(Source Network Address Translation)의 일종이다.
• 내부 네트워크의 IP 주소를 외부로 요청을 보낼 때 NAT(Network Address Translation)를 통해 출발지 IP를 방화벽의 IP로 변환하고, 외부 응답이 들어올 때 원래 출발지로 트래픽을 다시 전달하는 작업을 수행한다.

 

🤓 쿠버네티스와의 관계

• 쿠버네티스에서 마스커레이딩 설정은 Pod 네트워크와 클러스터 외부 네트워크 간의 통신을 지원하기 위해 중요하다.

1. 쿠버네티스에서 마스커레이딩의 필요성

• 쿠버네티스 클러스터의 Pod는 클러스터 내부에서 고유한 IP(ClusterCIDR)를 가지며, 이 IP는 외부 네트워크에서 직접 접근할 수 없다.
• 클러스터의 Pod가 외부 네트워크로 요청을 보낼 때, 마스커레이딩을 통해 Pod의 IP 주소를 노드의 IP 주소로 변환해야 한다.
• 외부 네트워크는 변환된 노드 IP를 보고 응답을 반환하며, 클러스터 내부의 Pod로 정상적으로 전달된다.

2. 마스커레이딩 설정이 필요한 경우

• Flannel, Calico와 같은 CNI(Container Network Interface) 플러그인이 사용하는 Pod 네트워크가 외부와 통신해야 할 때
• 클러스터에서 SNAT를 명시적으로 활성화하지 않는 경우
• Pod가 외부 인터넷에 접근하거나, 클러스터 외부의 리소스(API 서버 등)와 통신해야 할 때 등이 있다.

3. 마스커레이딩 없이 발생할 수 있는 문제

• 클러스터 내부 Pod가 인터넷으로 나가는 요청에 응답을 받지 못할 수 있음.
• 외부 네트워크에서 클러스터 내부의 네트워크를 알 수 없기 때문에 라우팅 문제가 발생.

---

🚒 해결 :

 

🚒  마스커레이딩 허용하기

# masquerade: no -> yes로 변경
$ sudo firewall-cmd --add-masquerade --permanent

# 리로드
$ sudo firewall-cmd --reload

# coredns restart
$ kubectl -n kube-system rollout restart deployment coredns

• 마스터 노드와 워커 노드에서 방화벽에 마스커레이딩을 허용하고, coredns 디플로이먼트를 재시작한다.

 

🚒  파드 내부에서 DNS 정보 다시 조회하기

$ k exec -it busybox -- sh
/ # nslookup google.com
Server:         10.96.0.10
Address:        10.96.0.10:53

Non-authoritative answer:
Name:   google.com
Address: 2404:6800:4004:828::200e

Non-authoritative answer:
Name:   google.com
Address: 142.250.196.142

• 정상적으로 파드 내부에서 외부로 DNS를 통한 통신이 가능해졌다!

🤔 의문점 :

없음.

 

 

 

참고

https://stackoverflow.com/questions/68213989/kubedns-no-route-to-host-for-kubernetes-default