DevOps Tasks

Karpenter 개요Karpenter는 Kubernetes 클러스터를 위한 오토스케일링 솔루션입니다.클러스터의 파드 수요에 따라 자동으로 노드를 생성하거나 제거하여 리소스를 효율적으로 관리합니다.Karpenter는 파드의 스케줄링 요구 사항을 실시간으로 분석하고, 필요한 경우 새로운 노드를 신속하게 프로비저닝 하여 애플리케이션의 확장성과 가용성을 보장합니다.Karpenter를 사용하면 다음과 같은 이점이 있습니다자동 노드 스케일링 : 클러스터의 리소스 사용량을 실시간으로 모니터링하고 필요에 따라 노드를 자동으로 생성하거나 제거합니다.비용 최적화 : 필요할 때만 노드를 생성하므로, 리소스 사용을 최적화하고 비용을 절감할 수 있습니다.유연한 프로비저닝 : 다양한 인스턴스 유형과 지역을 지원하여 파드의 요구..

"이게 다 포트 때문이라고?"Kubernetes 클러스터를 운영하다 보면 예상치 못한 문제를 자주 겪게 됩니다. 이번 사례도 그런 상황 중 하나였지만, 특히 인프라 설정의 중요성을 다시 한번 확인할 수 있었습니다. Liveness와 Readiness Probe 실패의 원인이 특정 포트 차단으로 밝혀졌고, 이로 인해 클러스터 동작에 심각한 지장이 발생했습니다.작은 설정 하나가 클러스터 전체에 영향을 미칠 수 있다는 사실을 다시 한번 실감한 경험이었습니다. 문제의 시작 : "왜 얘만 안 돼?"Karpenter 컨트롤러 두 대가 배포되었는데, 이상하게도 한 대는 문제가 없었고, 특정 가용 영역(AZ)에서만 계속 재시작만 반복했습니다.문제의 pod에서는 이런 로그들이 반복적으로 남았죠Liveness Probe ..

Overview기존 시스템에서는 Lambda 간 호출과 API Gateway에서 발생하는 Timeout 문제로 인해 안정성과 성능 저하를 경험했습니다. 특히, Lambda 함수 간 호출 시 외부 네트워크 경로를 거치며 발생하는 Timeout 제한과 GPT 전처리 작업의 추가로 인해 API Gateway의 Timeout이 빈번하게 발생했습니다. 이를 해결하기 위해 AWS Step Functions를 도입하여 Lambda 호출 간 발생하는 타임아웃을 해결하고, 동시에 시스템의 동시성 제어 및 성능을 최적화했습니다. Step Functions의 비동기 처리와 병렬 작업 관리를 통해 API Gateway의 제한을 극복하고 Lambda의 과부하를 방지하며, 작업 재시도 및 대기 기능으로 시스템의 안정성을 더욱 강..

개요Kubernetes에서 리소스를 삭제할 때 예상보다 시간이 오래 걸리거나 삭제가 지연되는 상황이 발생할 수 있습니다.이는 Finalizer라는 메커니즘 때문일 수 있습니다.이 글에서는 Finalizer가 무엇인지, 삭제 지연의 원인, 그리고 이러한 상황을 효과적으로 처리하는 방법을 설명합니다.  Finalizer란 무엇인가?Finalizer는 Kubernetes 리소스의 metadata.finalizers 필드에 포함된 항목으로, 리소스가 완전히 삭제되기 전에 수행해야 할 정리 작업을 정의합니다.이는 종속된 리소스의 손실을 방지하거나 적절한 정리를 보장하기 위한 안전장치 역할을 합니다. 동작 방식리소스 삭제 요청 시, Kubernetes는 deletionTimestamp를 설정하지만 즉시 삭제하지 않..