Kubernetes ImageGCFailed, FreeDiskSpaceFailed 원인 생각 해보기(쿠버네티스 가비지 컬렉션)

🚨 Error 

# 출력
...

Conditions:
  Type                 Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message
  ----                 ------  -----------------                 ------------------                ------                       -------
  NetworkUnavailable   False   Mon, 06 Jan 2025 11:16:31 +0000   Mon, 06 Jan 2025 11:16:31 +0000   FlannelIsUp                  Flannel is running on this node
  MemoryPressure       False   Thu, 23 Jan 2025 04:29:31 +0000   Mon, 06 Jan 2025 11:15:42 +0000   KubeletHasSufficientMemory   kubelet has sufficient memory available
  DiskPressure         False   Thu, 23 Jan 2025 04:29:31 +0000   Thu, 23 Jan 2025 04:04:01 +0000   KubeletHasNoDiskPressure     kubelet has no disk pressure
  PIDPressure          False   Thu, 23 Jan 2025 04:29:31 +0000   Mon, 06 Jan 2025 11:15:42 +0000   KubeletHasSufficientPID      kubelet has sufficient PID available
  Ready                True    Thu, 23 Jan 2025 04:29:31 +0000   Mon, 06 Jan 2025 11:16:29 +0000   KubeletReady                 kubelet is posting ready status
  
...

Events:
  Type     Reason                 Age                    From     Message
  ----     ------                 ----                   ----     -------
  Warning  FreeDiskSpaceFailed    51m                    kubelet  Failed to garbage collect required amount of images. Attempted to free 1731492249 bytes, but only found 0 bytes eligible to free.
  Warning  FreeDiskSpaceFailed    46m                    kubelet  Failed to garbage collect required amount of images. Attempted to free 2140416409 bytes, but only found 0 bytes eligible to free.
  Warning  ImageGCFailed          46m                    kubelet  Failed to garbage collect required amount of images. Attempted to free 2140416409 bytes, but only found 0 bytes eligible to free.
  Warning  ImageGCFailed          41m                    kubelet  Failed to garbage collect required amount of images. Attempted to free 1884924313 bytes, but only found 0 bytes eligible to free.
  Normal   NodeHasDiskPressure    34m (x11 over 8d)      kubelet  Node <node-name> status is now: NodeHasDiskPressure
  Warning  EvictionThresholdMet   34m (x25 over 8d)      kubelet  Attempting to reclaim ephemeral-storage
  Warning  ImageGCFailed          31m                    kubelet  Failed to garbage collect required amount of images. Attempted to free 1867794841 bytes, but only found 0 bytes eligible to free.
  Warning  FreeDiskSpaceFailed    31m                    kubelet  Failed to garbage collect required amount of images. Attempted to free 1867794841 bytes, but only found 0 bytes eligible to free.
  Normal   NodeHasNoDiskPressure  29m (x12 over 15d)     kubelet  Node <node-name> status is now: NodeHasNoDiskPressure
  Warning  FreeDiskSpaceFailed    26m                    kubelet  Failed to garbage collect required amount of images. Attempted to free 1872329113 bytes, but only found 0 bytes eligible to free.
  Warning  ImageGCFailed          26m                    kubelet  Failed to garbage collect required amount of images. Attempted to free 1872329113 bytes, but only found 0 bytes eligible to free.
  Warning  FreeDiskSpaceFailed    113s (x271 over 4d5h)  kubelet  (combined from similar events): Failed to garbage collect required amount of images. Attempted to free 1898916249 bytes, but only found 0 bytes eligible to free.

• DiskPressure 관련 에러에 대한 테스트 중 발생한 문제이다.
• Kubernetes는 파드에서 운용할 컨테이너를 위한 임시 저장소인 ephemeral-storage를 활용한다.
  • ephemeral-storage는 운용 중인 컨테이너가 일시적으로 사용하는 저장 공간이다.
  • 따라서 Pod를 띄우기 위해서는 컨테이너 임시 저장소로 사용할 여유 디스크 공간을 필요로 한다.
• 그런데, 이 ephemeral-storage로 사용할 디스크 공간이 부족하면 DiskPressure 상태가 True가 되어 해당 인스턴스(워커 노드)에 파드를 실행시키지 못한다.
  • 정확히는 인스턴스의 디스크 용량이 90%를 넘어가거나(노드 시스템 가용 용량), 이미지 시스템 가용 용량(85%)을 넘기면 DiskPressure가 true로 변경된다.
• 이 상태에서 멈추지 않고 계속 Pod 생성을 시도하게 되면 ImageGCFailed라는 이유로 Failed to garbage collect required amount of images.와 같은 메시지의 에러가 발생하게 된다.
• 그런데 DiskPressure가 False로 돌아와도 계속 이 문제가 발생한다.
• 이 문제는 왜 발생하는 것일까?

 

💡 쿠버네티스의 가비지 컬렉션

• 쿠버네티스의 가비지 컬렉션(Garbage Collection)은 JVM의 가비지 컬렉션과 같이 더 이상 필요하지 않은 리소스를 자동으로 정리해주는 기능이다.
• 이를 통해 클러스터 내 불필요한 데이터를 줄이고 리소스를 효율적으로 관리할 수 있다.

 

🤔 종류

오브젝트 가비지 컬렉션

• 소유자-종속자 관계가 있는 경우, 소유자(Owner)가 삭제되면 종속자(Dependent)도 자동으로 삭제된다.
  • 예를 들어, Deployment가 삭제되면 관련된 ReplicaSet과 Pod도 삭제된다.

 

컨테이너 가비지 컬렉션

• 사용되지 않는 컨테이너 이미지나 중지된 컨테이너를 삭제한다.
• 이를 통해 노드의 디스크 공간을 확보한다.

 

🚗  예상하는 에러 발생 과정

1. 디스크 용량 부족 문제로 DiskPressure 문제 발생

2. 사용자가 지속적으로 동일 기능의 Pod 생성 시도(동일 이미지 사용)

3. 특정 or 다수의 Pod에 Error 발생, 복구 불가

4. 복구 불가 Pod가 Kubelet에 의해 고아 Pod로 인식되어 해당 Pod에서 사용 중인 컨테이너 이미지를 가비지 컬렉션이 정리 시도.

5. 그러나, 실행 중인 다른 Pod에서 같은 이미지를 사용 중이기 때문에 가비지 컬렉션에 의한 이미지 정리 및 용량 확보 실패

6. ImageGCFailed, FreeDiskSpaceFailed 에러 발생

 

🥸 결론

• 정리하면 다음과 같다.
• ImageGCFailed, FreeDiskSpaceFailed는 특별한 이유로 인해 발생한 것이 아닌 동일한 이미지를 활용하여 지속적으로 Pod를 생성했을 때 발생할 수 있다. 
• 예를 들어, 지속적으로 생성한 Pod가 RepicaSet, Deployment 등의 리소스에 관리되지 않는다면 생성된 Pod 중 일부에 문제가 생겨 동작 에러가 발생했을 때 해당 Pod는 고아 Pod가 되어버린다.
• 이때 가비지 컬렉션에 의해 해당 Pod의 이미지가 사용 중이 아닌 것으로 인식되어 정리되려고 할 것이다.
• 그러나, 실행 중인 다른 Pod에서 해당 이미지를 사용 중이기 때문에 ImageGCFailed, FreeDiskSpaceFailed 에러가 발생하는 듯하다.